终极算法——第四章：联结学派：大脑如何学习

本文为阅读总结个人认为书里概念性的、对本人有帮助的内容，仅供参考。

赫布律，就如它为人们所知的那样，是联结主义的奠基石。赫布律是心理学和神经科学思想的融合，其中掺杂了合理的猜想。

联结主义相信知识储存在神经元之间的联结关系中。

在符号学派中，符号和它们代表的概念之间有一一对应的关系。相反，联结学派的代表方式却是分散的：每个概念由许多神经元来表示，而每个神经元又会和其他神经元一起代表许多不同的概念。

符号学派和联结学派的另一个区别就在于，前者是按次序的，而后者是平行的。在逆向演绎中，我们可以一步一步地弄明白，为了从前提出发得到满意的结论，需要哪些新的规则。而在联结学派模型中，根据赫布律，所有神经元都会同时进行学习。

第一个正式的神经元是由沃伦·麦卡洛克和沃尔特·皮茨于1943年提出的。

麦卡洛克—皮茨神经元做不了的事情就是学习。为此我们需要对神经元之间的连接给予不同的权重，这就是所谓的“感知器”。

在感知器中，一个正权值代表一个兴奋性连接，一个负权值代表一个抑制性连接。如果其输入量的加权和高于界限值，那么会输入1；如果加权和小于界限值，那么输入0。

实际上，每个函数都可以近似看作S形曲线的总和。

反向传播是联结学派的主算法。

反向传播就是在多层感知器中有效做到这一点的方法：不断对权值进行微调，以降低误差，然后所有调整失败时，停止调整。

超空间时一把双刃剑：一方面，空间的维度越高，它越有可能存在高度复杂的表面和局部最优解；另一方面，被困在局部最优解中，意味着被困在每个维度中，所以被困在多维中的难度会比困在三维中的难度大。

S形曲线时线性函数非智能性和阶跃函数难解性的完美中转站。

反向传播于1986年由加州大学圣迭戈分校的心理学家大卫·鲁梅尔哈特在杰夫·辛顿以及罗纳德·威廉斯的协助下发明出来的。

神经网络第一次取得大的成果是准确预测股票市场。因为神经网络可以在噪声很大的数据中探测到微小非线性，它们打败线性模型，并在金融领域流行起来。

实际上，联结学派有实质性的进步。如果联结学派是过山车，那么对于最近的过山车转弯，贡献者之一就是一个看上去普通的小设备——“自动编码器”。

自动编码器就像是一个文件压缩工具，它有两个重要的有点：知道如何自行压缩东西，和霍普菲尔德网络一样；可以把一张杂乱、扭曲的图片变得干净。

吴恩达也是支持“人类智能可以归结为单个算法”这个思想的主要人物。他认为叠加在一起的稀疏自编码能够帮助我们很好地解决人工智能问题，比之前的任何方法都行得通。

叠加自动编码器不是唯一的深度学习方法，另外一种以玻尔兹曼机器作为基础，还有一种——卷积神经网络，则把视皮质模型作为基础。尽管起的了很大的成功，然而这些成果仍与大脑相去甚远。

杰夫·霍金斯在《人工智能》一书中，提倡紧紧地把皮质组织形式作为基础，进行算法设计，但到目前为止，没有一个算法能够与今天的神经网络相比。

联结学派的一些人高调地称，反向传播就是终极算法，而我们只需要扩大反向传播的规模。但是符号学派对这种想法不屑一顾。

终极算法