深度学习的起源和发展_深度学习起源与发展

深度学习的起源和发展

1深度学习起源阶段

1.1 M-P模型

该模型是在上世纪四十年代初期由数学逻辑学家皮兹和心理学家卡洛克共同提出的，该模型的提出主要参照原理是基于神经元的理论上的，即按照神经元的构造和运行模式。在高中生物中对神经元有过全面的理论学习，神经元之间的化学物质传递即它们之间的信息传递，当大脑中的某一个神经元处于兴奋状态的时候就会向其他神经元传递信息，从而使得神经元之间产生电位更变，但是在我们的大脑中有些神经元会出现一个阈值使得电位不会更变，这些神经元就会被激活，从而高度兴奋起来，然后向其它神经元传递信息。M-P模型的就是基于神经元的理论基础上所建立的一个数学模型，是一种模拟人类大脑的神经元系统。M-P模型为深度学习的纵深发展奠定了夯实的基础。

1.2 海布学习规则

基于M-P模型的基础之上，加拿大著名心理学家唐纳德·赫布提出了海布学习规则，在他提出的理论中是对M-P模型的高度运用并创新。海布学习规则的运作原理是对人体的大脑神经元的模仿，在神经元“模型”的引导下，由监督到非监督，在该规则内将大脑的神经元延伸到了“条件反射”。该种模型也用到了数学的统计学，通过大量的训练提取训练集的特征，然后对其进行相似度样本分类，将其中关系联系密切的样本分为一大类，就这样将这些样本分为了很多类，这样的原理和大脑所产生的神经元的条件反射的机制和原理是相同的，从而在深度学习的发展上有了引导之能。

1.3 感知机

上世纪五十年代末期，美国科学家罗森布拉特提出了感知机学习。感知机学习主要是模仿人类在认知世间万物的过程学习过程，经过数年的研究，他在1958年提出了“感知器”的理论，具体指的是将两层神经元构成神经网络。对于感知器的本质，是一种新的线性模型，可以将输入的训练数据进行二分类，并且在计算机中自动更新权值。

2 深度学习发展阶段

2.1 Hopfield神经网络

深度学习自1958年的感知机理论提出后，20几年都没有得到新的发展，在这二十几年的研究中始终停滞不前，指导上世纪八十年代初期，深度学习才有了新的进展。1982年，Hopield神经网络思想的提出使得深度学习得到了一定程度上的发展，该思想是由著名的物理学家约翰·霍普菲尔德提出的，该思想主要是将感知器和循环神经网络进行高度结合，但是对于深度学习的发展可以说是杯水车薪，因为该种思想存在巨大的缺陷，很容易陷入局部最小值，使得深度学习的发展还是不足以引起当时的轰动，不过他为后来的BP算法提供了理论和思想基础。

2.2 BP算法的问世

从1958-1982年的深度学习的研究，所取得的进步是不足以满足当时计算机快速发展的，所以在而后的几年，更多的专业学家开始研究深度学习，经过众多学则的不懈探讨，终于在上世纪八十年代中期深度学习得到了翻天覆地的发展，这一切都要归功于深度学习之父——杰弗里·辛顿。1986年，BP算法问世，打破了以往思维的固式，同样也使得深度学习逐步受到世人的关注，BP算法理论也是站在前人的研究成果之上的一种创新，BP算法改变了传统感知器的基本运行孙发理论，在其中加入了反向数据的传播，这种创新极大程度降低了信息数据在传播时所产生的误差。这样的传播途径很大程度上提高了各个神经网络信息相互传播获取之间的准确度，其根本原理就是不断地调整神经元之间的权值和阈值，知道数据和真实数据偏差不大的时候停止。BP算法的问世使得深度学习的发展得到了实质性的进步，同样奠定了杰弗里·辛顿在深度学习上的地位，被后人成为深度学习之父。

2.3 梯度消失与爆炸问题

BP算法的问世，虽然在学术界引起了轩然大波，但是并没有使得所有学术专家都认可这种算法，从而使得BP算法在当时并没有火爆起来，而对于BP算法的不火爆主要是存在两个缺陷。首先，受到当时计算机硬件的影响，上世纪80年代末期，计算机硬件设备的水平支撑不了这种算法的计算能力，换句话讲就是硬件设施跟不上软件设备，从而使得BP算法很大程度上的受限；第二，这点是所有学术专家不认可BP算法的至关重要的原因，BP算法随着极大地降低了误差，但是在具体的运算实践过程中，从而使得BP算法没有得到学术界专家的广泛认可。

2.4梯度消失与爆炸问题

随着训练数据的不断增大，就出现了“梯度消失”。虽然一方面是受到当时机器设备的影响，但是最为关键的是BP算法的更新中没有合适的激活函数更新，的有效解决基于上述BP算法遇到的问题，在杰弗里·辛顿和其学生鲁斯兰·萨拉赫定诺夫多年的研究之后，他们提出了“深度学习”，这只是当时初期的解决方法。2006年他们在世界顶级学术期刊《科学》中发表了一篇文章，该篇文章对于“梯度消失”的问题存在情况、解决问题的方法做了十分详尽的描述，这种解决方法即在无监督的逐层训练算法上，加以有监督的反向调优。随着这类问题的解决使得很多的学术学者都关注到了BP算法，同样也认可了这种解决方法在当时是可行的，从而使得这种解决方法在当时留颂读和认可度都很高，可是随着时代的变迁，现在对于这种方法的运用不是很广。上述的解决方法更多的是基于初期的问题产生而提出的解决方法，但是随着实践的沿袭，更为彻底的解决方法问世，相较于传统的解决方法，这类方法更能直接、便捷的解决问题，更彻底的解决方法便对激活函数的不断更新迭代，采用relu、leakrelu、elu等。其实这更加彻底的解决方法无非是数学层面的更好的创新更迭，它的基本思路便是使得激活函数的导数为1，就可以轻松的解决前面所有的问题，这也使得relu函数成为核心的激活函数。其实在“梯度消失”和爆炸问题上，往往取得成功的就是一个小小的激活函数，这回数学是直接挂钩的，当然这也是激活函数从0到1的进步。

2.5 DNN模型的诞生

DNN模型的诞生使得深度学习成为当前最为热门的领域，在全球范围内都受到了高度关注。DNN模型其实就是将很多的神经网络进行隐藏，也可以理解为多层感知机的共同运行，其实这类模型备受关注的前提是计算机硬件设备的更新和发展，在理论和实践都能跟上的时候，是一件事物发展的大爆炸时期，亦是对以往基础理论知识的一种肯定，虽然在硬件上和技术上的更新是解决问题的核心关键，但是这种模型的运行原理还是基于前人们的研究之上的，就好比运行的算法是BP算法，激活函数是隐藏的relu函数，消除了梯度消失的问题。同样的，随着各个学者的研究，也在创新的过程中加入正则化的+dropout改善过虚拟现象，在输入层用softmax作为激活函数等等。简而言之，DNN模型就是对之前所有的知识进行综合产生的一种高性能的模型。