15分钟全面认识前馈神经网络_前馈神经网络的历史

神经网络的历史

神经网络起源于 Warren McCulloch 和 Walter Pitts，他们 于 1943 年首次建立的神经网络模型。他们的模型完全基于数学和算法，但由于缺乏计算资源，模型无法测试。后来，在 1958 年，Frank Rosenblatt 创建了第一个可以进行模式识别的模型，改变了现状，即感知机。感知机不仅是神经网络的基础，也是支持向量机的基础，它主要用于解决分类问题，即寻找一个超平面，将不同类别的样本分离开来。当仅考虑1个变量时，超平面退化成直线，可用一元线性模型来分割样本。

不失一般性，我们将超平面写为，并用如下的结构图来表示。

       感知机可以看作是只有1个神经元的神经网络。事实上，logistic回归也可以看作是没有隐藏层，且只有1个神经元使用sigmoid函数激活的神经网络。感知机可由梯度下降法来训练，而且在实际应用中效果非常好。但不幸的是，1969年,Marvin Minsky和Seymour Papert证明感知机连最简单的抑或问题都无法解决，因此其解决复杂问题的能力受到了质疑。这也直接导致了神经网络的发展陷入了低谷。

       神经网络在感知机的基础上，将多个神经元堆叠在一起，并引入了激活函数，完美解决了抑或问题。1986年,Geoffrey Hinton与人合著了一篇论文:learning representations by back-propagation errors正式提出了反向传播算法，解决了神经网络的参数求解问题。近年来，随着计算机硬件设备的不断进步，神经网络的训练问题得到了彻底解决。

前向传播

       当输入特征时，神经网络会进行前向传播计算输出值，我们用以下记号来描述一个全连接神经网络: