神经网络的发展历程(Ⅰ)_上个世纪神经网络 的瓶颈是什么

前言

从1904年的神经元提出至今，神经网络的发展几经波折，结合几代人的智慧，才形成到现阶段我们所看到的深度学习神经网络的样子，本文以神经网络的发展史为切入点，介绍前人是如何将一个小小神经元完善成现今深度学习神经网络的样子，并阐述其原理，旨在帮助读者更好的理解神经网络的原理与变迁，不足之处，望多多指正

1.神经元

神经网络最早的起源可以定位至1904年生物学家就发现并提出神经元结构，其运行模式为：树突接受电信号，轴突尾端有许多轴突末梢可以给其他多个神经元传递信息，轴突输出转化好的信号给人做出反应和决策

2.感知器算法的发展与瓶颈

2.1神经元的数学模型仿真

1943年，心理学家麦卡洛克和数学逻辑学家皮兹发表论文**《神经活动中内在思想的逻辑演算》**，提出了MP模型，希望能够用计算机来模拟人的神经元反应的过程，该模型将神经元的工作过程简化为了三部分：输入信号线性加权，求和，非线性(sgn跃迁函数)激活（阈值法），其数学表达式：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nbTcHfBv-1678529043210)(null#card=math&code=y_k=\varphi\left(\sum_{i=1}^m \omega_{k i} x_i+b_k\right)]=\varphi\left(W_k^T X+b\right)&id=RH9t5)

该模型是目前关于细胞神经元最基础也是用的最多的数学模型，但在当时该数学模型的提出在学界无太大波澜其原因：

• 模型过于简单
• 模型缺少求证

2.2感知器算法对神经元模型的完善与瓶颈

(1)感知器算法的提出

1957年，在MP模型和赫布学习规则(提出权重可变)的研究基础上，美国计算机科学家罗森布拉特发现了一种类似于人类学习过程的算法—感知机学习。并于1958年，正式基于感知器（Perceptron）算法的神经网络模型
其本质是一个二分类的线性分类模型，输入样本特征，输出 0 1类的二值结果，是神经网络的基础，感知器的提出引起了大量科学家对人工神经网络研究的兴趣**，对神经网络的发展具有里程碑式的意义**

算法思想为：

(2)感知器算法的瓶颈

在1969年，马文·明斯基和西蒙·派珀特共同编写了一本书籍**《感知器》，在书中他们证明了单层感知器无法解决线性不可分问题（例如：异或问题），**并举出了十几个案例。由于这个致命的缺陷以及没有及时推广感知器到多层神经网络中，在20世纪70年代，人工神经网络进入了第一个寒冬期，人们对神经网络的研究也停滞了将近20年

这个阶段感知器的发展瓶颈：

• 感知器算法只能解决线性可分类数据集的问题，而实际应用问题大多为非线性可分类分体
  

3.多层神经网络-BP神经网络(三层可以模拟任意的非线性函数 )

3.1BP神经网络的格式

真理的果实总是垂青于能够坚持研究的科学家。尽管人工神经网络的研究陷入了前所未有的低谷，但仍有为数不多的学者致力神经网络方面的研究，1986年，经网络之父杰弗里·辛顿发明了适用于多层感知器（MLP）的BP算法，其创造性的采用了Sigmoid函数作为感知器的激活函数，其在传统神经网络正向传播的基础上，增加了误差的反向传播过程。反向传播过程基于梯度下降不断地调整神经元之间的权值和阈值，直到输出的误差达到减小到允许的范围之内，或达到预先设定的训练次数为止，完美的解决了非线性分类问题，让人工神经网络再次引起了人们广泛的关注。多层神经网络是有多个神经元组成的线性函数加上层与层之间的非线性函数构成，其最基础结构如下图：

3.2BP神经网络原理、应用与改进

• 通过数学严谨的证明了：激活函数采用跃迁函数的三层神经网络可以拟合任意的非线性函数，非线性场景问题求解例子如下图：
  | | |
  | — | — |
  | | |

多层神经网络中后向传播算法的后续重要改进

3.3BP神经网络的发展瓶颈

1991年BP算法被指出存在梯度消失问题，也就是说在误差梯度后向传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0，因此无法对前层进行有效的学习，该问题直接阻碍了深度学习的进一步发展
此外90年代中期，支持向量机算法诞生（SVM算法）等各种浅层机器学习模型被提出，SVM也是一种有监督的学习模型，应用于模式识别，分类以及回归分析等。支持向量机以统计学为基础，和神经网络有明显的差异，支持向量机等算法的提出再次阻碍了神经网络的发展

• 不同神经网络参数的设置得到结果不相同，现实场景中无法知道训练的数据集，需要多少层神经网络，多少个神经元是最合适的
• 梯度下降法求的是局部最优解
• 存在梯度消失的问题
  

4.从BP神经网络到深度学习

4.1深度学习的历史契机

• 2000年开始，计算机算力的指数级提升
• 移动互联网开始，数据量的爆发式增长
  

4.2深度学习的提出与发展

2006年，杰弗里·辛顿以及他的学生鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。他们在世界顶级学术期刊《Science》发表的一篇文章中详细的给出了“梯度消失”问题的解决方案——通过无监督的学习方法逐层训练算法，再使用有监督的反向传播算法进行调优。该深度学习方法的提出，立即在学术圈引起了巨大的反响，斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇，至此开启了深度学习在学术界和工业界的浪潮。

**2011年，ReLU激活函数被提出，该激活函数能够有效的抑制梯度消失问题。**2011年以来，微软首次将DL应用在语音识别上，取得了重大突破。微软研究院和Google的语音识别研究人员先后采用深度神经网络DNN技术降低语音识别错误率至20％~30％，是语音识别领域十多年来最大的突破性进展。

2012年，DNN技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26％降低到15％。在这一年，DNN还被应用于制药公司的DrugeActivity预测问题，并获得世界最好成绩。2012年，在著名的ImageNet图像识别大赛中，杰弗里·辛顿课题组为了证明深度学习的潜力，**首次参加ImageNet图像识别比赛，其通过构建的CNN网络AlexNet一举夺得冠军，且碾压第二名（SVM方法）的分类性能。**也正是由于该比赛，CNN吸引到了众多研究者的注意。深度学习算法在世界大赛的脱颖而出，也再一次吸引了学术界和工业界对于深度学习领域的注意。

回顾与展望

本文主要就1904年的神经元提出至BP神经网络的发展和原理做了简单的介绍，同时对后续深度学习的发展进行了简单阐述，为下一篇文章打下基础，埋下引子
不难看出，这期间神经网络的发展目前仍处于20世纪50年代的感知器原理时期，只在此基础上加了更多个，更多层的神经元，使其可以完成更多参数、更复杂的场景问题的解决，在未来，量子计算机与生物脑科学的发展，该模型未来的发展与变迁值得我们拭目以待

参考：
https://zhuanlan.zhihu.com/p/449090341
https://www.cnblogs.com/subconscious/p/5058741.html
https://www.bilibili.com/video/BV1Sd4y1c7cp/?p=2&vd_source=5f15e2cccfe7cc6786a5dde583181592