杰弗里·辛顿：人工智能的直觉力量 —— 一次启示性的对话_辛顿与天才创业者乔尔·海勒马克 (joel hellermark) 进行了一场对话。

引言

近期，图灵奖得主杰弗里·辛顿（Geoffrey Hinton）和天才创业者乔尔·海勒马克（Joel Hellermark）进行了一场对话，被网友们称为“每一秒都是精华”。辛顿在这次对话中回忆了自己的人工智能生涯，讨论了当前大模型的技术路线、多模态学习的重要性、智能系统的意识与情感等话题。本文将对这次访谈的核心内容进行详细解析，带领大家一起领略这位人工智能领域巨匠的思想精华。

回忆人工智能生涯

早期启蒙

辛顿的人工智能启蒙来自于阅读一些经典书籍，包括唐纳德·赫布（Donald Hebb）的《行为的组织》，提出了著名的“突触学习学说”，以及约翰·冯·诺伊曼（John von Neumann）的《计算机与人脑》，介绍了大脑的计算方式与普通计算机的区别。这些书籍激发了辛顿对大脑学习机制的浓厚兴趣，促使他前往剑桥大学研究大脑。

求学与研究之路

在剑桥，辛顿发现生理学并不能解答他对大脑工作原理的疑问，转而求助于哲学，但同样失望。最终，他选择到爱丁堡大学学习人工智能，并在1978年获得博士学位。随后，辛顿前往卡内基梅隆大学，与泰伦斯·塞诺夫斯基（Terry Sinofsky）共同研究玻尔兹曼机，与统计学家彼得·布朗（Peter Brown）合作，学到了许多关于语音和隐马尔可夫模型（HMMs）的知识。

直觉与创新

与伊利亚·苏茨克维尔的合作

辛顿回忆了与其天才学生伊利亚·苏茨克维尔（Ilya Sutskever）的相识，展示了伊利亚的惊人直觉和创新能力。伊利亚的“缩放法则”主张只要模型做得更大，效果就会更好，虽然辛顿起初怀疑这种观点，但事实证明伊利亚的直觉是对的。

规模与性能

辛顿指出，模型的性能提升主要依赖于数据规模的扩大和计算能力的提升，而不仅仅是架构创新。例如，在2011年，他们利用维基百科数据源预测下一个HTML字符，结果出奇地好，显示了大规模数据在模型训练中的重要性。

大语言模型与人类思维

类比与推理

辛顿认为，如今的大语言模型在理解方式上与人类思维方式相似。随着模型规模的增长，其推理能力也随之增强。举例来说，GPT-4能够找到堆肥堆和原子弹之间的共同点，即链式反应的概念，展示了其类比和推理能力。

多模态学习

辛顿认为，多模态输入会显著提高模型的推理能力和性能，尤其在空间等领域。多模态可以为模型提供更多训练数据，使其在复杂任务中的表现更加出色。

语言与认知

辛顿探讨了三种不同的语言观及其与认知的关系：传统符号观、大型向量观以及符号和向量结合的观点。他认为当前的模型通过多层次的嵌入表示符号，类似于人类思维过程中的符号与向量的相互作用。

神经网络与情感

反向传播与权重调整

辛顿相信大脑在学习过程中利用了梯度信息来优化内部连接，即权重调整，但他对具体机制仍保持开放态度。他认为这是一个重大而尚未解决的问题，可能涉及反向传播或其他未知方法。

AI的情感

辛顿提到AI也能有情感，例如在面对问题时采取的行动策略。情感的本质是对外部约束的反应，类似于人类的情感反应。因此，AI在一定程度上也可以表现出类似情感的行为。

未来展望

模拟计算

辛顿提出，未来的计算技术应向模拟计算发展，降低能耗，同时实现大脑级别的效率。他还提到，现有的神经网络模型缺少多时间尺度的权重变化，未来可能会通过电导作为权重表示来实现更接近人脑的临时记忆功能。

人工智能的应用

辛顿认为，未来人工智能最有前景的应用领域在医疗保健和新材料。他担心AI被不良分子利用，但相信由于国家间的竞争，AI的发展不会放缓。

结论与未来展望

辛顿的访谈为我们展示了人工智能领域的最新进展和未来发展方向。他对大语言模型、多模态学习、模拟计算等方面的见解，为我们提供了宝贵的启示。相信在不久的将来，人工智能将会在更多领域展现出强大的力量和广泛的应用前景。