『大模型笔记』AGI的定义之争：人工智能的终极目标还有多远？

一. 关于通用人工智能本质的争论

• “通用人工智能”（AGI） 一词在当前的AI话题讨论中已经变得极为普遍。OpenAI宣布其宗旨为 “确保通用人工智能能够惠及所有人类。” DeepMind的公司愿景声明强调，“通用人工智能…可能会引领历史上最伟大的变革之一。” AGI这一概念在英国政府的国家AI战略及美国政府的AI文档中频繁出现。微软的研究员们最近宣称，在大型语言模型GPT-4中，他们发现了通用人工智能的初现迹象，而现任及前任的谷歌高层也宣布，“通用人工智能已经成为现实。”埃隆·马斯克因为质疑GPT-4是否能被归类为一种“通用人工智能算法”，而将OpenAI告上法庭，这成为了一桩引人注目的诉讼案件。

• 早期AGI的倡导者曾认为，机器不久将全面接管人类的各种活动。然而，研究人员通过一些失败教训发现，开发能在国际象棋上战胜你或解答你的搜索问题的AI系统，远比造出一个能折叠衣物或修理水管的机器人来得简单。因此，AGI的定义随之调整，仅限于所谓的“认知任务”。DeepMind的联合创始人Demis Hassabis认为，AGI应该是一个“能够完成几乎所有人类能够进行的认知任务的系统”，而OpenAI则将其描述为“在大多数经济价值较高的工作中胜过人类的高度自主系统”，这里的“大多数”排除了那些需要物理智能的任务，这种智能可能还需要一段时间才能在机器人身上实现。

• AI的“智能”概念——无论是认知上的还是其他方面的——常常被框定为个体智能体优化奖励或目标的过程。有影响力的论文之一将通用智能定义为“智能体在广泛环境下实现目标的能力”；另一篇论文则指出，“智能及其相关能力，可以被理解为服务于奖励最大化的过程。”确实，这就是当代AI的工作原理——比如，计算机程序AlphaGo被训练来优化特定的奖励函数（“赢得比赛”），而GPT-4则被训练来优化另一种奖励函数（“预测句子中的下一个词”）。

• 这种关于智能的观点导致了一些AI研究人员的另一种推测：一旦AI系统实现了AGI，它将通过对其自身软件的优化，递归式地提高自己的智能，很快就能获得超人类智能，按照一种极端的预测，“其智能将比我们高出数千甚至数百万倍”。

• 这种对优化的关注使得AI社区中的一些人开始担忧，那些可能会以疯狂的方式背离其创造者目标的“未对齐”AGI对人类的存在构成的风险。在他2014年的书《超级智能》中，哲学家Nick Bostrom提出了一个著名的思想实验：他设想人类给予一个超级智能AI系统一个目标——优化回形针的生产。AI系统将这一目标字面化到极致，使用其非凡的才智控制地球上的所有资源，并将一切转化为回形针。显然，人类并不希望为了生产更多的回形针而导致地球和人类的毁灭，但他们忘记在指令中明确这一点。AI研究员Yoshua Bengio提出了他自己的思想实验：“我们可能请求AI解决气候变化问题，它可能会设计出一种病毒来大幅减少人类人口，因为我们的指示对于‘伤害’的定义不够清晰，而且实际上人类是解决气候危机的主要障碍。”
• 这些对AGI（和“超级智能”）的推测性看法，与那些研究生物智能，尤其是人类认知的人所持的观点不同。尽管认知科学没有对“通用智能”给出严格定义，也没有就人类或任何类型的系统能在多大程度上具备这种智能达成共识，但大多数认知科学家都会同意，智能不是可以在单一尺度上测量并随意调整的量，而是一种复杂的、在特定进化利基中大体上是适应性的，由普遍能力和专门能力综合而成的特质。

• 许多研究生物智能的学者对于是否能将所谓的“认知”智能方面从其它模式中分离并实现在无形体的机器中进行模拟持有怀疑态度。心理学家们已经证明，人类智能的重要组成部分根植于个体的身体和情感的亲身体验中。同时，证据表明个体的智能深刻依赖于其参与社会和文化环境的程度。与其他人理解、协调并从中学习的能力，对于个人达成目标的成功来说，往往比个人的“优化能力”更为重要。此外，不同于理论上以最大化纸夹产出为目标的AI，人类智能的核心并非围绕着固定目标的优化，而是通过内在需求与其智能得到社会及文化环境支持的复杂整合来形成个人目标。与那些旨在超级智能地最大化纸夹产出的假想AI不同，智能的增强恰恰使我们能够更准确地理解他人的意图以及我们自己行为可能产生的影响，并据此调整我们的行为。正如哲学家Katja Grace所述，“将征服宇宙视为达成几乎任何人类目标的一个步骤，几乎对任何人来说都是完全荒谬的。那么，我们为什么会认为AI的目标会有所不同呢？”

• 机器通过提升自身软件来实现智能的量级增长，这一设想同生物学上对智能的理解大相径庭，后者认为智能是一个超越了孤立大脑的高度复杂系统。如果达到人类水平的智能需要不同认知能力的复杂整合，以及社会和文化的支撑，那么系统的“智能”层面很可能无法无缝访问到“软件”层面，正如我们人类无法轻易通过工程化手段改造大脑（或基因）来提升自己的智力一样。然而，作为一个整体，我们通过外部技术工具，比如计算机，以及建立文化机构，比如学校、图书馆和互联网，提高了我们的实际智能水平。

• AGI的含义以及它是否构成一个连贯的概念仍然是一个讨论话题。此外，对AGI机器能够做什么的猜测，大多基于直觉而非科学证据。但这些直觉有多可靠呢？AI的历史一再证明我们对于智能的直觉是错误的。许多早期的AI先锋认为，通过逻辑编程的机器能够捕获人类智能的全谱。其他学者预测，让机器在下棋中击败人类、在语言之间翻译或进行对话，需要它具备一般人类水平的智能——这些预测都被证明是错误的。在AI发展的每一个阶段，人类水平的智能都比研究者预期的要复杂得多。当前对于机器智能的推测会不会同样错误呢？我们能否发展出一个更加严谨和通用的智能科学来回答这些问题？

• 目前还不清楚，AI科学会更类似于人类智能的科学，还是更像是天体生物学——后者对其他星球上可能存在的生命形式进行预测。对于那些从未见过、可能甚至不存在的事物（无论是外星生命还是超智能机器）进行预测，将需要基于一般原则的理论。最终，“AGI”的意义和后果不会由媒体辩论、诉讼或我们的直觉和猜测来确定，而是通过长期的科学研究来探索这些原则。

二. 参考文献

• https://www.science.org/doi/10.1126/science.ado7069?continueFlag=882766b3b828657a17cf1da2cf50cf2e