深度学习之父 Hinton 万字访谈录：中美 AI 竞赛没有退路可言（GPT-4o总结版）

访谈介绍：Joel Hellermark 与 AI 教父 Geoffery Hinton 的深度对话

Geoffery Hinton

近日，27 岁的天才创始人 Joel Hellermark 与 “AI 教父” Geoffery Hinton 进行了一场深入对话。在这次访谈中，Hinton 回顾了自己的人工智能生涯，并探讨了神经网络、Scaling Law、多模态学习、模拟计算和人工智能伦理安全等多个话题。此外，Hinton 还分享了他对其得意门生 Ilya Sutskever 的看法，给人以深刻的启迪。

Joel Hellermark

Hinton 的人工智能之路

早期求学与科研经历

Geoffery Hinton 的人工智能之路始于剑桥大学，他在剑桥大学最初学习生理学，试图通过生理学课程来理解大脑的工作原理。然而，他很快发现生理学课程只涉及神经元如何传导动作电位，而未能揭示大脑整体的工作机制，这令他非常失望。随后，他转向哲学，希望通过哲学课程了解心灵的运作方式，但结果同样令人失望。最终，他选择了人工智能，并在爱丁堡大学攻读人工智能博士学位，1978 年获得了博士学位。

在爱丁堡大学期间，唐纳德·赫布（Donald Hebb）的一本书对 Hinton 产生了深远影响，书中介绍了神经网络中的连接强度学习。Hinton 还提到约翰·冯·诺依曼（John von Neumann）的书《计算机与人脑》，这本书进一步激发了他对人工智能的兴趣。

在卡内基梅隆大学的经历

Hinton 在 1982 年前往卡内基梅隆大学担任计算机科学系教授，直到 1987 年。在卡内基梅隆大学，他接触到了一台 Lisp 机器，这使他开始编写程序。他回忆到，在某个周六晚上，他发现自己无事可做，于是决定去实验室编写一些程序。这次经历让他认识到，美国的学生对未来充满激情，令他耳目一新。

与 Ilya Sutskever 的合作

初次见面与早期合作

Hinton 回忆了与 Ilya Sutskever（Ilya Sutskever即前段时间刚刚离职的OpenAI首席科学家） 的初次见面。他描述了 Ilya 是如何在某个周日急切地敲门，要求加入他的实验室。

“所以我们聊了一会儿，我给了他一篇论文阅读，那是关于反向传播的《自然》（Nature）论文。我们约定一周后再见面，他回来后说：“我没看懂。”

我感到非常失望。我想：“他看起来挺聪明的，但这只是链式法则而已。理解起来并不难。”

他却说：“哦，不，不，那个我懂。我只是不明白 —— 为什么不直接将梯度（即损失函数相对于模型参数的导数）应用于一个更合理的函数优化器呢？” 后来，这个问题成为了我们多年研究探讨的重点。Ilya 就是这样，他对事物的直觉总是非常敏锐。”

Ilya 的直觉和独立思考能力让 Hinton 深感佩服。Ilya 的直觉总是非常敏锐，这使得他在研究中提出了许多富有创意的想法。例如，他们在研究如何用数据制作复杂的地图时，Ilya 提出编写一个接口，以便在另一种语言中编程，并直接转换成 MATLAB 代码，这显著提高了他们的工作效率。

Ilya 的贡献与影响

Ilya 是 Hinton 的得意门生之一，他对反向传播算法有着深刻的理解。Hinton 认为，Ilya 的观点，即增加模型规模会带来更好的效果，是正确的。尽管 Hinton 起初认为这只是逃避复杂问题的一种方式，但事实证明，数据规模的扩大和计算能力的提升确实是推动人工智能进步的关键因素。

左一为 Ilya，右一为 Hinton 

中间则是 Alex Krizhevsky

三人合作设计了 AlexNet

在 ImageNet 比赛取得了冠军

Scaling Law 与创造力

模型规模与性能

在讨论 GPT-4 的创造力时，Hinton 强调了数据规模和计算能力的提升对于人工智能发展的重要性。他指出，Ilya 很早就意识到模型规模增加会带来更好的效果，这一观点在如今得到验证。Hinton 认为，随着模型规模的扩大，AI 的创造力甚至会超过人类。

创造力的来源

Hinton 认为，GPT-4 的创造力来自于其对事物间共同结构的理解。通过发现这些共同结构，模型能够高效地编码信息，并进行类比。例如，当被问到“为什么堆肥堆像原子弹”时，GPT-4 能够理解并联想到链式反应的概念，从而给出合理的回答。Hinton 认为，这种类比能力将使 GPT-4 变得非常有创造力，甚至超越人类。

多模态学习的优势

多模态学习的定义

Hinton 认为，多模态学习（结合语言、图像、视频和声音等多种信息）将显著提高模型的推理能力和理解能力。他提到，多模态系统可以更好地理解空间关系和物体，并减少对语言的依赖。

多模态学习的应用

通过多模态学习，模型可以获得更多的训练数据，从而提高其性能。例如，预测 YouTube 视频的下一帧可以让模型获得更多的数据，同时减少对语言的依赖。这种学习方式将使模型在处理多种感官输入时变得更加高效和直接。

模拟计算的挑战

模拟计算的潜力

Hinton 谈到了自己在谷歌研究模拟计算的经历，尽管未能成功实现这一目标，但他强调数字系统在知识共享方面的优越性。数字系统的权重可以在不同硬件上复制和共享，而模拟系统则难以实现这一点。

知识共享的优势

由于数字系统的权重可以被保存并在任意兼容的数字系统上重现，这使得数字系统在知识共享方面比人类更加优越。数字系统可以通过微小的学习更新，实现集体知识的即时同步，这是人类目前无法做到的。

人工智能伦理与安全

潜在的负面影响

Hinton 表示，尽管人工智能技术带来了巨大的益处，但也存在许多负面影响的可能性，如制造杀人机器人、操纵公众舆论和大规模监视等。他呼吁社会在推动 AI 发展的同时，要重视其潜在的负面影响。

AI 发展的国际竞赛

Hinton 认为，AI 领域不太可能减缓发展，部分原因在于它是国际性的。如果一个国家减缓了发展，其他国家并不会跟着减缓。他指出，中美之间存在一场 AI 竞赛，双方都不会放慢脚步。

Hinton 对未来的展望

医疗保健的应用

Hinton 认为，医疗保健是 AI 发展的重要领域。AI 技术可以显著提高医疗服务的质量和效率，满足社会对更多医疗服务的需求。未来，每个人可能会拥有多位专属医生，AI 技术将在这一过程中发挥关键作用。

新材料的开发

Hinton 还提到了 AI 在新材料开发中的潜力，如太阳能电池板和超导材料的研发。通过 AI 技术，我们可以更好地理解身体的运作机制，并开发出更先进的工程材料。

个人反思与未来研究

大脑与反向传播

Hinton 表示，他一直以来都在思考一个问题，即大脑是否进行反向传播。他相信大脑在学习过程中确实利用了梯度信息来优化其内部连接，但他对于大脑如何实际获得这些梯度仍持开放态度。Hinton 认为，这是一个重大且尚未解决的问题，他未来的研究将继续围绕这一问题展开。

研究的收获与遗憾

在回顾自己的职业生涯时，Hinton 提到他在玻尔兹曼机上的研究尽管未能取得预期成果，但他对此并不感到遗憾，因为这一过程深化了他对机器学习和神经科学的理解。他强调，科学家的工作往往是出于纯粹的好奇心，而非功利性的目的。

关于 Joel Hellermark

Joel Hellermark 是一位年轻的 AI 先驱，他自幼在东京长大，13 岁开始编码，14 岁创立了一家视频推荐公司。在数字广告公司工作后，19 岁的他创办了人工智能研究实验室 Sana，并在 2023 年筹齐 8000 万美元融资。Hellermark 坚信学习的力量，通过斯坦福公开课程自学编程，创办 Sana 的目标是“改变教育”，希望通过 AI 技术提高员工的工作效率。

总结

Geoffery Hinton 与 Joel Hellermark 的对话不仅回顾了 Hinton 的人工智能研究生涯，还展望了未来 AI 技术的发展方向。这场访谈为我们展示了 AI 领域的诸多前沿话题和深刻见解，激发了人们对人工智能未来的无限遐想。通过这次对话，我们不仅更深入地了解了 AI 教父的思想，还见证了年轻一代 AI 领导者的崛起。Hinton 对人工智能的见解和对未来的展望，无疑为我们提供了宝贵的指导和启示。