大话深度信念网络（DBN）_hinton等人提出了一种名为“深度信念网络”(deep belief networks)

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”（BigdataAILab），欢迎关注。

让我们把时间拨回到2006年以前，神经网络自20世纪50年代发展起来后，因其良好的非线性能力、泛化能力而备受关注。然而，传统的神经网络仍存在一些局限，在上个世纪90年代陷入衰落，主要有以下几个原因：
1、传统的神经网络一般都是单隐层，最多两个隐层，因为一旦神经元个数太多、隐层太多，模型的参数数量迅速增长，模型训练的时间非常之久；
2、传统的神经网络，随着层数的增加，采用随机梯度下降的话一般很难找到最优解，容易陷入局部最优解。在反向传播过程中也容易出现梯度弥散或梯度饱和的情况，导致模型结果不理想；
3、随着神经网络层数的增加，深度神经网络的模型参数很多，就要求在训练时需要有很大的标签数据，因为训练数据少的时候很难找到最优解，也就是说深度神经网络不具备解决小样本问题的能力。

由于以上的限制，深度的神经网络一度被认为是无法训练的，从而使神经网络的发展一度停滞不前。

2006年，“神经网络之父”Geoffrey Hinton祭出神器，一举解决了深层神经网络的训练问题，推动了深度学习的快速发展，开创了人工智能的新局面，使近几年来科技界涌现出了很多智能化产品，深深地影响了我们每个人的生活。

那这个神器是什么呢？那就是“深度信念网络”（Deep Belief Network，简称DBN）。

深度信念网络（DBN）通过采用逐层训练的方式，解决了深层次神经网络的优化问题，通过逐层训练为整个网络赋予了较好的初始权值，使得网络只要经过微调就可以达到最优解。而在逐层训练的时候起到最重要作用的是“受限玻尔兹曼机”（Restricted Boltzmann Machines，简称RBM），为什么叫“受限玻尔兹曼机”呢？因为还有一个是不受限的，那就是“玻尔兹曼机”（Boltzmann Machines，简称BM）。
下面依