Yann LeCun再谈AI的发展

《巴伦周刊》最近与Meta首席人工智能科学家Yann LeCun就AI的发展做了交流。LeCun是AI行业最杰出的科学家之一，2018年图灵奖获得者。

他认为人们对ChatGPT的影响显然是反应过度了。他的一些观点也许可以使我们冷静一些。

一，最终答案可能是彻头彻尾的垃圾

大型语言模型LLM的运作就像一个超级的预测键盘。首先要对大量的单词进行训练。模型基本上就是一个字一个字进行预测的系统，它们会产生什么，完全取决于训练的统计数据和给定的提示。
这决定了它们适用担任写作助手，可以帮助你用正确的语法风格来表述事情。

但这种模型要么反刍存储在记忆中的内容，要么反刍在训练中读取的内容组合，意味着可能会发生各种事实错误，或者只是在编造一些东西。在数学上来说，它很有可能与正确答案的路径呈现出指数性的偏离。生成的答案越长，最终答案可能越是彻头彻尾的垃圾。

二，ChatGPT没有太大新意

和谷歌、Meta这些公司比，OpenAI看来确实领先了一步，但ChatGPT或GPT4这种产品并没有太大新意。自然语言理解并不是一项新技术。transformer(机器学习模型)整个想法来自谷歌。

Meta、谷歌的很多人早就开始研究这项技术，有成百上千的科学家工程师知道如何搭建。谷歌和Meta没有更早的推出类似系统，是因为对于一家大公司来说，推出一个不完全可靠、可以发布无稽之谈的系统，会对其声誉造成很大风险。

三，达到人类智力水平还很遥远

有人说这些LLM系统扩展后将达到人类的智力水平，这是完全错误的看法。
ChatGPT这样的技术无法用来训练机器人清理桌子或者填满洗碗机，但这对一个孩子来说却是件微不足道的任务。我们还做不到。

我们还没有实现L5级(完全)自动驾驶，这需要完全不同的技能，你无法通过阅读文本来进行学习。未来五年我们会取得重大进展。但我认为还无法达到人类的智力水平，这需要非常漫长的时间。
每次出现这种预测时，我们都低估了人类智力的复杂性。

Source: https://twitter.com/raycat2021/status/1649768488200994820?s=46&t=BjcDDdD725JphbcxjVzW2A (https://twitter.com/raycat2021/status/1649768488200994820?s=46&t=BjcDDdD725JphbcxjVzW2A)