深度学习第一讲（背景）_深度学习提出的背景

背景

1956年夏季于达特茅斯大学，卡内基-梅隆大学的赫伯特·西蒙和艾伦·纽厄尔，达特茅斯大学的约翰-麦肯哈，佛大学的马文·闵斯基锡，贝尔实验室的克劳德·香农，肖克利公司戈登·摩尔，IBM的内森·罗切斯特，开了一次讨论会，会议上提出了人工智能这个名词。所以1956年也被称为人工智能元年。

下面列出一些重要的时间节点，人物事件：

1943年麦卡洛克和数学逻辑学家皮兹发表论文《神经活动中内在思想的逻辑演算》，提出了MP模型，其模仿神经元的结构和工作原理，构成出的一个基于神经网络的数学模型。

l1949年，加拿大心理学家唐纳德·赫布提出了一种基于无监督学习的规则：赫布学习规则。提出条件反射概念。

l1958年，美国科学家罗森布拉特在MP模型和赫布学习规则的研究基础上提出了由两层神经元组成的神经网络，称之为“感知器”。-两层神经元组成的神经网络。

l1969年，马文·明斯基和西蒙·派珀特共同编写了一本书籍《感知器》，指出单层感知器无法解决线性不可分问题（没有及时推广感知器到多层神经网络中），神经网络的研究也停滞了将近20年。

l1982年，著名物理学家约翰·霍普菲尔德发明了Hopfield神经网络。Hopfield神经网络是一种结合存储系统和二元系统的循环神经网络。但由于容易陷入局部最小值的缺陷，该算法并未在当时引起很大的轰动。

l1986年，深度学习之父杰弗里·辛顿提出了一种适用于多层感知器的反向传播算法——BP算法。BP算法正向传播的基础上，增加了误差的反向传播. 由于运算能力跟不上，导致当神经网络的规模增大时，会出现“梯度消失” SVM等的。

l2006年，杰弗里·辛顿与鲁斯兰·萨拉赫丁诺夫提出了深度学习的概念。给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法，再使用有监督的反向传播算法进行调优（发表于《科学》）。

l2012年，在著名的ImageNet图像识别大赛中，杰弗里·辛顿领导的小组采用深度学习模型AlexNet一举夺冠。AlexNet采用ReLU激活函数，从根本上解决了梯度消失问题，并采用GPU极大的提高了模型的运算速度。

AI的图示，以及相互之间关系：