图像来源(http://www.cognitivetoday.com/wp-content/uploads/2016/10/DCN-600x392.png)

继续我之前关于深度学习的文章

1. 深度学习基础（https://codeburst.io/deep-learning-what-why-dd77d432f182）


2. 深度学习的自动编码器（https://codeburst.io/deep-learning-types-and-autoencoders-a40ee6754663）

今天我们将了解深度信念网络（DBN）一种无监督预训练的网络（UPN）

让我们先定义DBN：

DBN是一类深层神经网络，其包括有向边和无向边的多层图形模型。它由多层隐藏单元组成，每层都相互连接，但单元之间不连接。

要了解深层信念网络，我们需要了解DBN的两个重点

1. 信念网络


2. 受限玻尔兹曼机（RBM）

信念网络：

它由随机二进制单元层组成，其中每个连接层都具有一些权重。信念网络中的随机二进制单位具有0或1两张状态，并且变为1的概率由来自其他单元的偏见和加权输入决定。

让我们来看看这个来自（Geoffrey Hinton，cs.toronto.edu）的深度信念网络图

图片来源：Geoffrey Hinton，cs.toronto.edu

（https://www.cs.toronto.edu/~hinton/nipstutorial/nipstut3.pdf）

Geoffrey Hinton博士这样说：

深度信念网的两个最重要的属性是：

• 有一个高效而逐层的过程，用于学习自上而下生成的权重，以确定一个层中的变量如何依赖于上个层中的变量。


• 学习后，每个层面的潜在变量的值可以通过从底层观察数据向量开始的单个自下而上的传递来推断，并在相反方向上使用生成权重。

受限玻尔兹曼机

波尔兹曼机是一种在单位之间具有随机二进制单位和无向边的随机循环神经网络。由于玻尔兹曼机的范围限制，RBM被引入它由隐藏层单元组成，每个隐藏单元之间有受限的连接。这种结构有助于RBM学习。

看下面了解更多：

图片来源：Geoffrey Hinton，cs.toronto.edu

（https://www.cs.toronto.edu/~hinton/nipstutorial/nipstut3.pdf）

DBN架构：

DBN由受限玻尔兹曼机（RBMs）层组成，为预训练时期，然后是用于微调阶段的前馈网络。如下面的DBN的网络架构所示：

图像来源（https://www.safaribooksonline.com/library/view/deep-learning/9781491924570/assets/dpln_0401.png）

DBN如何工作：

现在我们已经了解了信念网络和RBM的基础知识，让我们尝试了解DBN如何实际运作。由于DBN是多层信念网络。其中每层是受限玻尔兹曼机器彼此堆叠，用于深度信念网络。训练DBN的第一步是使用对比分歧算法（CD算法）从可见单元学习一层特征。然后，下一步是将先前训练过特征的​​激活视为可见的单元，并学习第二个隐藏层中的特征的特征。最后，整个DBN在实现最终隐藏层的学习时被训练。

贪心DBN学习：

图像来源（https://www.slideshare.net/HasanHTopcu/deep-belief-networks-58155447）

深度信念网络的应用领域：

1. 图像和人脸识别


2. 视频序列识别


3. 运动捕捉数据

NASA（美国国家航空航天局）正在使用DBN来分类TB级的，高分辨率的，高度多样化的卫星图像。