生物（有机）体如何了解世界：通用人工智能（AGI）的基本限制（论文翻译）...

一篇近期在通用人工智能群看到的论文，他内容是说在现有算法框架（通用图灵机）下无法实现真正的通用人工智能，因为生物体是在和环境的相互作用（生物体影响环境，环境影响生物）中成为可能，没法预先定义，而现有算法框架必须要预先定义并从预先定义中推导，所以不可能。当然论文的内容不只这一方面的论述，他还包括很多其他的视角。我只是这方面的初涉者，想试试翻译一下。论文的其中一位作者是写了《物理之外的世界》的考夫曼，他是一位上世纪30年代出生的理论生物学家。论文发表日期为2021年11月2日。

原文下载地址：

AGILimits

osf.io/yfmt3/

名词解释（遇到这些单词忘了可以随时回来看看解释）：

agent -> 在本文的语境下指 the person or thing that does an action，即主体，或行为主体，人工智能里面可以指做出一篇近期在通用人工智能群看到的论文，他内容是说在现有算法框架（通用图灵机）下无法实现真正的通用人工智能，因为生物体是在和环境的相互作用（生物体影响环境，环境影响生物）中成为可能，没法预先定义，而现有算法框架必须要预先定义并从预先定义中推导，所以不可能。当然论文的内容不只这一方面的论述，他还包括很多其他的视角。我只是这方面的初涉者，想试试翻译一下。论文的其中一位作者是写了《物理之外的世界》的考夫曼，他是一位上世纪30年代出生的理论生物学家。论文发表日期为2021年11月2日。

原文下载地址：

AGILimits

osf.io/yfmt3/

名词解释（遇到这些单词忘了可以随时回来看看解释）：

agent -> 在本文的语境下指 the person or thing that does an action，即主体，或行为主体，人工智能里面可以指做出行动的智能体，也是行为主体的一个延伸使用。

affordance ->可供性（源于1977年心理学知觉领域术语）。An affordance is often taken as a relation between an object or an environment and an organism, that affords the opportunity for that organism to perform an action. 就是说可供性指的是生物（有机体）和环境（或物品）之间的关系，这种关系可以使得生物（有机体）有机会采取行动。比如说如果我们能够碰到门把手，那么门就是可供打开的；反之，若我们还在蹒跚学步的婴儿期，那么如果没法碰到门把手，那么门就是不可供打开的。

umwelt -> 复数：umwelten；来自德语Umwelt ，意思是“环境”或“周围环境”。该术语通常被翻译为“以自我为中心的世界“。

论文标题：How Organisms Come To Know The World: Fundamental Limits On Artifificial General Intelligence （生物（有机）体如何了解世界：通用人工智能的基本限制）

作者：Andrea Roli, Johannes Jaeger , Stuart A. Kauffman

摘要

人工智能领域自从七十年前伊始至今已获得极大的进展，像自动驾驶汽车，击败专业游戏选手的程序，以及护理机器人等仅仅是获得成功的机器智能中的一小部分。这些进展也许诱使我们去设想不久的将来社会上会遍布和人类能力比肩的自主机器人，而我们离这个展望似乎仅仅被当前计算机的算力和复杂度所限制，而这两点（计算机的算力和复杂度）总是进展迅猛。然而，这条道路上存在着几个明显的障碍物。通用人工智能牵涉到情景推理，采取（观察问题的）视角，选择目标，以及处理模糊信息的能力。我们观察到上述的这些特征与发现和开拓affordance有关——affordance是agent实现其目标的路径上的机会(或障碍)。关于affordance的一个例子是agent如何使用手上的物品。我们证明无法预先定义这样的一组使用。因此，我们不能以算法的方式看待agents。这意味着“人工智能agents”和生物（有机体）在利用新的affordance的能力上存在不同。只有生物（有机体）有这个能力。这同样意味着通用人工智能在当前人工智能研究的算法框架下是无法实现的。另外这对进化论也有重要的价值，我们认为对于真正通过激进的涌现（emergence）的开放式进化而言，生物（有机体）的agency是必要的。我们讨论了这个论点可能导致的各种分支结果，不仅仅在人工智能研究和进化论中，同样还有科学哲学的结果。

正文

一、引言

自从1956年达特茅斯暑期研究项目成立以来 (McCarthy等人, 1955)[1], 人工智能领域已经达成不少令人瞩目的成就。自动推理（automated reasoning），问题求解（problem solving）以及机器学习（machine learning）的潜能被大量不同的算法，方法以及工具所释放(Russell and Norvig, 2021)[2]【译者注：这个引用的就是《人工智能：一种现代的方法（第四版）》，我在专栏里做过这本书的部分笔记，有兴趣可以去看看】。人工智能系统不仅可以完成复杂的活动，比如玩游戏(Silver，2016)[3]，还可以规划复杂的任务(LaValle, 2006)[4]，而且目前大多数的应用程序和技术设备都配备了一些人工智能组件。从机器翻译【译者按：本文就有不少是参考有道翻译来翻译长难句的】到自动语音识别，机器学习最近这些令人印象深刻的成就(Domingos, 2015)[5]大大扩展了人工智能可以应用的领域。可以说人工智能在我们生活中无处不在。另外，人工智能方法能够产生某些创造性的艺术品，如绘画(Hong and Curran, 2019)[6]，和音乐(Briot and Pachet, 2020)[7]; 此外，在一些喧嚷声中 (Chalmers, 2020; Marcus and Davis, 2020)[8][9]近期发布的深度学习系统GPT-3(Brown等人, 2020)[10] ，它可以用令人惊讶的写作能力来生成文段。

毋庸置疑，以上这些都是杰出的成就。不过，每个案例的成功仅仅局限于相当狭窄的范围之内。如今大多数AI系统的目标都是特定的：比如说，一个能够自动规划任务的AI系统，通常无法识别图片中的脸部信息。事实上，这种专门化是这些系统成功的主要因素之一 。然而，人工智能的基本梦想——在许多科幻作品中都有体现——是创造一个系统，也许是一个机器人，它应该融合了广泛的适应能力和技能。因此，对通用人工智能(AGI)的追求，即能够连接、集成和协调这些不同功能的计算系统。事实上，真正的通用智能可以被定义为结合“分析、创造和实践能力的智能”(Roitblat, 2020, 278页)[11]。它被公认为是“自然智能”的区分属性，例如某种控制着人类，以及其它哺乳动物和鸟类的智能。

如果我们把人脑看作一台计算机——这里我们指的是某种相当于通用图灵机的计算设备——那么AGI的实现可能仅仅依赖于组合人工智能系统中不同任务的解决能力，达到足够复杂的水平即可。这似乎是非常可行的——仅仅是在计算能力快速增长的背景下对当前方法的推断——尽管这不仅需要人工智能算法本身的组合复杂性，还需要用于训练它们的方法。事实上，许多评论人士预测，AGI即将到来，他们经常告诫我们，这种技术发展带来的巨大(甚至是存在的)潜力和风险(比如说，见 Vinge, 1993; Kurzweil, 2005; Yudkowsky, 2008; Eden 等人, 2013; Bostrom, 2014; Shanahan, 2015; M¨uller and Bostrom, 2016; Chalmers, 2016; Ord, 2020).[12][13][14][15][16][17][18][19][20]

然而，当考虑到对任务解决能力更高层级的集成时，一些棘手的问题出现了。这些问题往往被现实世界中通常出现的包含不完整的，模糊的，和/或相互矛盾的信息的情形所严重困扰。首先一个问题是，根据背景和手头的任务选择一个合适的成功度量标准(成本或评估函数（evaluation function）)。其次的一个问题是，从大量(大多是不相关的)备选方案中发现有价值的任务和相关的背景特征。最后，还有一个问题是，首先得定义什么是有价值的。显然，一个真正的通用人工智能需要在没有人类干涉的情况下能够去自主识别和改进它的目标。从字面意义上说，它必须知道它想要什么，这就假定它首先必须有能力去想要什么。

机器的自我欲求问题经常被哲学家们与关于认知的争论、主观心理状态的存在，以及最终与关于意识的问题联系在一起。一个著名的例子是John Searle关于思想和人工智能的研究(参见Searle, 1980, 1992)[21][22]。其他的一些哲学家则尝试将其归纳于控制论的目标寻求反馈（goal-seeking feedback） (例如 McShea, 2012, 2013, 2016)[23][24][25]. 在这里，我们采取中间立场，并认为问题根源于有机体主体性（Organism agency），或生物主体性（bio-agency）的概念。我们表明，"agency"一词在有机体生物学（Organism biology）和人工智能研究中指的是完全不同的概念。

有机体的行动能力是建立在其功能性组织的基础上的，这赋予它一定的自主性(“即时性的自由”)。(Gold and Shadlen, 2007)[26]。有机体不只是被动地对环境输入做出反应，它可以根据自己渴望去获得（或满足）的内在目标（基于有机体的需要）来行动——发现及利用机会，以及在它们感知到的环境（或umwelt (Uexk¨ull von, 2010[27]; Walsh, 2015[28])）中避开障碍物。这些机会和障碍是一种affordance（可供性）——有机体和umwelt之间的这种关系以激活和引导有机体的行动（Gibson, 1966）[29]。有机体主体性（Organism agency）使有机体的目标、行动和affordance之间形成一种建设性的相互影响，这些目标、行动和affordance在共同进化的涌现过程中互为前提并相互产生 (Walsh, 2015)[28]。

我们的论证从一个简单的观察开始，即具有通用智能的自然系统(如生物体)定义的属性要求它们在特定动机、能力和环境的约束下利用affordance。用更通俗的话说，通用智能要能够创造，能够即兴发挥，能够应急解决与他们的目标和需求相关的问题。然而人工智能agent（与生物agent不同）被定义为一种复杂算法——处理从传感器获得的感知（percepts）信息（输入）到效应器（effector）执行的动作（输出）。(Russell and Norvig, 2021)[2]。我们详细阐述了affordance和算法之间的关系——算法被定义为可以在通用图灵机上运行的计算过程——最终得出结论，发现和利用affordance超出了算法可以计算的范围。这导致了两个深刻的影响：首先，虽然仍然有可能实现具有相当通用能力的强大人工智能系统，但通用人工智能无法在等同于通用图灵机的计算系统中完全实现。这种限制适用于非具身和具身（embodied）图灵机，例如机器人。其次，基于只有真正的agent能够拥有利用affordance的能力这一事实，我们得出结论，只有生物agent能够产生真正开放的进化动态，这意味着在人工生命(aLife)领域创造这种动态的算法尝试注定是要失败的。

在接下来的文段中我们的论证如下：在第二节中，我们为AGI提供了一个目标的定义，并描述了实现它路上的一些主要障碍。在第三节中，我们定义并对比了有机体生物学（organismic biology）和人工智能研究中的agent的概念。第四节介绍了affordance在AGI中扮演的关键角色，而第五节阐明了算法agent在发现和利用affordance时的局限性。在第六节中，我们展示了我们的论点也适用于具身人工智能agent，如机器人。第七节展示了对我们的论点提出的一些可能的异议。第八节讨论了生物代理对开放式进化的必要性。最后，第九节以我们的论点对科学和社会可能的影响的一些评述结束我们的讨论。

二、实现AGI路上的障碍

达特茅斯夏季研究项目的提案以一项雄心勃勃的声明开始：“我们将尝试找出如何让机器使用语言，形成抽象和概念，解决目前属于人类的各种问题，并提高它们自己的方法。” (McCarthy 等人, 1955)[1]。在这篇文章发表后的66年里，人工智能研究领域已经取得了非凡的进展，专门化的人工智能系统已经开发出来，几乎应用于当今人类生活的所有方面(见引言)。然而，设计一个能够集成“真正的机器智能”所需的各种能力的系统的最初目标并没有实现。

根据Roitblat(2020)[11]，通用智能的特征定义如下：

推理和问题求解

学习

做出推断（inference-making）

使用常识

自主定义和调整目标

处理模棱两可和定义不清的情况，以及

创造新的表征形式来表现获得的知识

其中一些功能比其他功能更容易形式化。例如，自动推理、问题求解、学习和做出推断可以建立在形式逻辑定律的基础上，并且在当代深度学习方法中达到了令人印象深刻的水平(Russell and Norvig, 2021)[2]。与之相反的是，完全将上述所列的其它特征的算法形式化仍旧是难以实现的。关于自主定义目标的问题我们稍后讨论，而剩下的三个特征我们不但很难用算法实现它，而且很难从一开始就精确地定义。这种模糊性具有语义和情境的性质:它涉及概念在特定环境下对agent(即理解者)的意义。

比如说，对于什么是“常识”，我们没有能得到广泛认同的定义。事实上，这个术语很可能就没有一般化的定义，因为“常识”代表了一种完全取决于情境的基于观点的认识。它代表了在给定的时间和地点，很多人(或所有人)对共同面对的日常问题的一种反应方式。因此，它本质上是一个情境性和规范性的概念，它的含义可以在不同的社会和历史背景下发生翻天覆地的变化。计算机拥有“常识”意味着什么尚不清楚 ：它是否必须以其所处时代和地点的人类认为“常识”的方式行事？还是说，它必须开发出自己（计算机）特有的，算法的“常识”? 这到底意味着什么?

同样的问题也会影响人工智能算法创造新表征形式以表现获得的知识的能力。这些表征不仅必须与世界上发生事件的状态相对应，而且还必须是可关联的，可理解的，对正在试图了解（这个事情）的agent是有用的。它们必须向别人表征一些东西。但是向谁表征呢? AGI的任务是生成符合人类理解的表征吗? 如果不是，那么让一个纯粹的算法系统来生成知识的表征又有什么意义呢?它（AGI）不需要它们（表征），因为它（AGI）不使用视觉信息或比喻来推理和理解。同样，问题的本质是语义的（semantic nature），因此这很难在算法式人工智能的纯粹语法（syntactic）世界中讨论。

由于它们不能使用情景知识，也不能使用比喻来表示和推理，人工智能系统很大程度上无法处理和利用模棱两可的情形(Byers, 2010)[30]。这些限制早在50多年前就被Dreyfus(1965)[31]发现并讨论过(另见Dreyfus, 1992)[32] 。时至今日，它们（这些限制）仍旧是我们实现AGI的主要障碍。它们的共同点是面对依赖于情境的或者定义不清的概念时的不确定性和悖论，算法系统的无能为力。相比之下，这种未知状态所产生的紧张感往往是人类创造力和发明的关键因素(参见Scharmer和Senge, 2016年)[33]。

让我们用一个解释性的例子来说明这个问题。利用模棱两可的信息的能力在人类几乎所有的认知活动中都扮演着重要的角色。这种能力可以出现在最意想不到的地方，例如，在最基于规则的人类活动的其中之一中——一个我们可能认为应该很容易形式化的活动中。正如Byers对数学家的创造性的绝妙观察，“模棱两可的信息，暗示了多重、相互冲突的参考系的存在，是新的数学思想产生的环境。” 数学家的创造性并不是来自于算法化思维 (Byers，2010年，第23页)[30] 。在问题求解的情境中，模棱两可的信息通常是解决过程的基石。 

让我们考虑图1中的数学谜题，如果我们仅仅采用形式化的代数视角来解决这种模棱两可的话，我们很难找到简单的解决方案[34]。然而，如果我们改变视角，观察数字的几何形状，我们可以很容易地注意到【译者按：然而我尝试解答的时候并没有察觉到[doge]】，它是在对数字符号内的闭环数量进行加法运算。事实证明，这个谜题，正如它所规定的，需要从不同角度观察的能力，混合几何和代数方法来得到一个简明的解决方案。

跟随Byers的脚步，我们观察到，即使是一个很大程度上形式化的人类活动——数学发现的过程——也不能完全被算法式的搜索所实现。一个更好的比喻是在黑暗的房间里漫无目的瞎走，正如安德鲁·怀尔斯描述他证明费马猜想（费马大定理）的旅程[35], 他说解这个难题就像从一个黑暗的房间开始，在那里我们“跌跌撞撞地磕碰到家具上"；突然间我们发现了照明开关，在明亮的房间里，我们“可以看到我们过去走到哪里（can see were we were）”——一种洞悉之感 ! 然后，我们走进相邻的暗室，继续这个过程，连续的找到“照明开关”以进入其他暗室，直到问题最终得到解决。从一个房间到另一个房间的每一步都是靠着某种洞察力，而不是靠着演绎（induction）或归纳（deduction）。其含义是举足轻重的 : 数学家通过洞察力来认识一个新的世界。洞察本身不是算法。它是一种产生语义意义的行为（semantic meaning-making）。Roger Penrose 在皇帝新脑中也提出了相同的意见(Penrose, 1989)[36]。

人类的创造力，在各种情境下，似乎需要对比喻的或者形式化的表述进行框架转换，需要处理矛盾和歧义信息的能力。这不仅仅是人类的特点，这也应该是AGI系统所具备的特征。正如我们将看到的，这些能力尤其依赖于affordances (Gibson, 1966)[29]。因此，我们必须要问，通用图灵机是否可以发现并利用affordance？回答这个问题的第一步在于认识到，affordance来自于agent与对其而言的外部世界（umwelt）之间的相互作用。所以我们首先要理解agent是什么，以及“agent” 这个概念在生物学和人工智能研究领域是如何被定义的。

三、Bio-agency：对比生物体和人工智能agent

到目前为止，我们还没讨论过AGI如何选择和改进自己的目标的问题(Roitblat, 2020)[11]。这个问题虽然与众不同，但仍然与前一节讨论的模糊不清的信息和表征问题密切相关。选择目标有两方面，首先一个人必须要有选择目标的动力，他必须有要有达到某种目标的需求才会真正有一个目标，有需求才会去想得到某些东西。另一方面是根据所选目标的显著性，以及自己的需求和能力在给定环境的一致性，将某些特定目标优先于另一组备选方案考虑。

当然，选择目标的前提是一定的自主性，也就是说，做出“选择”的能力(Moreno和Mossio, 2015)[37]。在此，我们必须强调，我们对“选择”一词的使用并不意味着意识、觉知、心理状态，甚至认知，我们认为这至少涉及某种原始的神经系统 (Barandiaran 和 Moreno, 2008)[38]。它只是一个能够从或多或少多样化的可选动态行为表中进行选择的系统，这些动态行为在给定的情况下可以随意使用(Walsh, 2015)[28]。所有形式的生命，简单至细菌复杂至人类，都具有这个能力。这里最主要的区别是，特定行为的选择不是纯粹反应式的，不是完全由环境条件决定的，而是(至少部分地)源自于并依赖于做出选择的系统内部组织。这意味着agency的某些基本类型(Moreno和Mossio, 2015)[37]。从最广泛的意义上说，“agency”指的是系统在其自身范围内发起行动的能力，从其自身内部动态产生影响。

agency需要某种类型的功能性组织。更具体地说，它需要组织封闭性（organizational closure）(Piaget, 1967; Moreno and Mossio, 2015) [39][37]，这导致了自创生（autopoietic）能力(即自我创造、自我维持和自我修复) 的产生(Maturana和Varela, 1973, 1980) [40][41]。这是最基本、最具代谢性意义的自治形式(Moreno和Mossio, 2015)[37]。最小的自治agent是一个物理上开放的、远离平衡的热力学系统，能够自我复制，并至少执行一个做功约束循环（work-constraint cycle），能够做出至少一个“选择”(见 Kauffman, 2003; Kauffman and Clayton, 2006; Kauffman, 2000, 及以上)[42][43][44]。做出决策需要能够感知世界，并评估“对我来说什么是好，什么是坏”，以便采取相应的行动。从matter到mattering的转变就是这样发生的【译者按：matter意思是事情，事态；而mattering是matter的动名词，重要的意思。因此可以理解为agent对一个事情开始有了态度】。

有机体作为自主，自治的agents，是“康德的整体”，即有组织的个体，它们具有部分为整体而存在，并借助整体而存在的属性(Kant, 1892; Kauffman,2000, 2020)[45][44][46]。“整体”意味着组织封闭性是一个系统层级的性质。在物理学术语中，它可以被表述为约束闭合（closure of constraints）。约束在不改变自身的情况下(至少不是在同一时间范围内)改变了底层过程的动态。生物体中约束的例子包括酶——它在催化生化反应的过程中不发生改变；或者脊椎动物的血管系统——它调节营养水平、激素水平，氧气在身体不同部位的水平，但在这些生理过程发生的时间尺度上这些调节不会改变血管系统自身(Mont´evil和Mossio,2015)[37]。

需要注意的是，约束闭合并不意味着一个过程和约束都是固定(静态)的网络。相反， 如果当前系统内闭合的组织是偶然从之前约束闭合的组织内衍生出来的话——它们当前状态的详细物理结构可以（事实上必须）是不同的，那么组织的连续性（organizational continuity）就是被维持的(Bickhard, 2000; DiFrisco and Mossio, 2020)[47][48]。组织通过做功约束循环持续存在(Kauffman, 2000)[44]: 一个自治系统必须有物理做功，通过新的和重复出现的约束持续地(重新)构成闭合。通过这种方式，它从所有可能的动态中逐渐地“提升”了一组相互构建的过程。这就是组织封闭性如何导致自创生性和基本自治性的：被“提升”的互动过程的网络的现有结构（至少在一定程度上）是之前组织网络展开的生成物。

然而，对于一个积极选择自己目标的agent而言，此处仍然缺少一个关键因素。我们上面描述的基本自主，自治系统可以维持(甚至修复)自己，但它不能适应环境——它不能对环境的影响作出充分的反应。这种自适应能力对于根据给定的情况确定目标的优先级和改进目标至关重要。如果生物体能够调节自己的边界，它就能在与环境的相互作用中获得一定的自治性。这些边界是自创生所必需的，因此这些边界必须是封闭性所维持的组件集合的一部分(Maturana和Varela, 1980)[41]。一旦边界过程和约束被整合到约束的闭合中，生物体就达到了一个新的自治水平:互动自治（interactive autonomy）(Moreno and Mossio, 2015)[37]。那么它现在已经成为一个成熟的有机体agent，能够感知其环境，并根据其内部组织（结构），从一系列目标中选择以对环境情况作出反应。

互动自治提供了一种自然主义的(而且完全科学的)对生物agent(以及与之相关的特殊目的论)的解释， 这为我们的研究奠定了基础，即生物体是如何发现和利用其自身环境中的affordance。但在此之前，让我们将生物agent的复杂图景作为“康德的整体”，与人工智能研究中更为简单的agent概念进行对比。在人工智能研究的语境下，“agent是任何可以被视为通过传感器感知环境并通过效应器对环境采取行动的东西”（Russell and Norvig, 2021 原文强调）[2]。换句话说，一个人工智能agent是一种输入输出设备。由于人工智能的目的是“对环境做出良好的反应” (Russell and Norvig, 2021)[2]，因此，取决于手头的任务，它的内部处理可以相当复杂。人工智能agent给的这个宽泛的定义实际上包括了有机体agent，因为这个定义没有具体说明在感知和行动之间斡旋的过程是怎么样的。然而，尽管不总是明确地说明，我们通常假设输入输出的处理是由某种可以在通用图灵机上实现的算法来执行的。问题是这样的算法系统没有即时性的自由【译者注：即时性的自由指自主，自治性，见引言倒数第三段】，因为它们的所有输出都完全由系统的输入来决定——尽管通常是以复杂的和概率的方式。没有任何行动是源自内部组织的历史发展【译者注：不知道是不是我理解有误，人工智能：一种现代方法原书中的第二章三生万物：人工智能：一种现代的方法（第四版【2020年】原版） —— Chapter 2 Intelligent agent里面好像有一个model-based agent，它就是基于历史信息来判断的，所以我感觉是不是这个论文作者没看仔细，理解错误，还是我自己没有理解这个论文作者这句话的意思】。因此，AI“agent”中根本不存在agency。这意味着什么，以及为什么它对AGI和进化理论很重要，以下章节见分晓。

四、affordance的关键作用

在概述了适用于bio-agency的自然属性后，我们现在可以重新讨论发现和利用affordance的问题。Affordance这个概念是Gibson（1966）[29]在生态心理学的语境下提出来的。在之后这个概念被多个研究领域中被采用，比如说生物符号学（Campbell等人， 2019)[49]以及机器人学 (Jamone等人, 2016)[50]。“Affordance”指的是环境为agent(生物体的意义上定义的agent)提供的“好或坏”。在我们实现目标的道路上，它可以表现为机会或者障碍。最近的一项哲学论述强调了agent与其感知环境(其umwelt)之间的关系，指出affordance引导和约束生物体的行为，阻止或允许它们执行某些行为，并向它们展示它们能做什么和不能做什么(Heras-Escribano,2019，第3页)[51]。例如，台阶给我们提供了攀登的动作; 一扇锁着的门阻止我们进去。affordance使我们的世界充满了意义:生物体不是生活在惰性的环境中，而是“被希望和威胁包围着” (出处同上)。

目标、行动和affordance之间互相影响（dialectic）的相互关系在这里至关重要(Walsh, 2015)[28]。正如我们所见，affordance需要一个有目标的agent。这些目标激发agent去行动。agent首先要选择一个去追求的目标， 然后它要从它的行为库中选择行动以使自己达到目标。这一行为反过来又改变了环境中affordance的集合。这种环境变化可能会促使agent选择另一种行动方式，甚至重新考虑其目标。此外,agent可以学会执行新的行动,或在这个过程中发展新的目标,等等,这样导致了一种构建性的共同涌现动态，在这种动态中，一系列目标、行动和affordance不断生成，并随着agent的世界不断进入下一个可能性空间，即下一个相邻可能（adjacent possible）存在而崩塌(Kauffman, 2000)[44]。通过这种共同涌现的相互影响，新的目标、机会和行动方式不断出现。因为宇宙在很大程度上是非遍历式的，所以每个时刻都提供了自己独特的一组机会和障碍，导致了新的目标和行动的出现(出处同上)。因此，真正的新颖事物是通过激进的涌现进入世界。

在人类环境中，这种共同涌现过程的一个明显的例子是应急修补（jury-rigging）：假设天花板上有一个漏洞，我们用浸过蜡的破布裹上一个软木塞，把它塞进天花板上的洞里，并用胶带固定住 (Kauffman, 2019)[52]。一般来说，通过应急修补来解决问题需要几个涉及不同的对象和行动的步骤，而我们通常都是在没有任何预先确定计划的情况下，将问题的解决方案合成到一块的。在这里重要的是，应急修补使用了每个牵涉的对象的因果特性的子集。通常，这些特性并不会和对象已知的功能相一致。以螺丝刀之类的工具为例，它原本的用途是拧紧螺丝，但它同样可以用来打开颜料罐，把门撬开，把窗户上的油灰刮掉，去捅人（请不要这样做），或者(如果你想这么做的话)用它抠鼻子。这里需要注意的是任何物理上存在的对象，在agent手中都存在着无限的替代用途。这并不是说它的用途是无限的——即使这些用途可能是无限的——而是说有哪些用途不能被预先知道(因而也不能预先描述)。

模棱两可和和（观察问题的）视角选择在应急修补中也扮演着重要角色，因为这个任务的目标是找到可用对象的合适的新因果特性，以解决手头的问题。同样的情况也发生在相反的过程中，比如说我们观察一个人工制品(或生物体(Kauffman, 2019)[52])，我们的目标是通过整合其之部分特征，以及这些部分执行的特定功能来提供对其之解释。例如，如果有人问我们汽车的用途是什么，我们可能会回答它是一个装有发动机、车轮和其他部件的交通工具，它们不同的因果特征可以铰接在一起， 以形成一个可以交通和运输的系统。这个回答通过提供一个有条理的框架，解决了关于汽车及其部件的不明确性，在这个框架中，这个整体（汽车）的各个部件被赋予了特定的功能，以解释汽车作为交通和运输系统的用途。相反，假如我们假设汽车的用途是煎蛋，那么我们会把汽车这个系统分解成另外一系列部件，以不同的方式组接在一起，这样我们就可以在发热的发动机缸体上煎蛋了。简而言之，对于人工制品(或有机体)的逆过程（拆解），我们“看到的有关物件的现象”驱使我们以不同的方式将系统分解成各个部分(Kauffman, 1976)[53]。每一个这样的分解会发现被发现的部分的因果特性的子集，这些部分组接在一起以对“系统正在做什么”做出解释。重要的是这里没有惟一的分解方式，因为分解系统的方式取决于它的用途和所处的境遇(参见Wimsatt, 2007)[54] 。

为了结束循环论证，我们注意到对物件的使用(以及我们对分解方式的分析)取决于使用它的agent的目标，而目标又取决于agent的动作库和它可用的affordance。原因在于以上这些都具有共同涌现和互相影响的互动关系，以至于使用这些物件的方法的数量一直是无限的，事实上，是不可知的(Kauffman, 2019)[52]。另外，使用这些物件的方法之间没有推论的（deductive）关系。举个例子，发动机缸体在汽车中被设计为提供推进力的装置，它也可以作为拖拉机的底盘，此外，人们可以把它用作一种奇怪(但有效)的镇纸工具，它的圆柱体孔内可以容纳酒瓶，或者它的一个角可以用来敲开椰子 。一般来说，我们无法知道发动机缸体可能有多少种用途，也无法从一种用途中推断出另一种用途 ：作为镇纸工具的用途是从细节中抽象出来的，而这些细节反过来又可能是用它来敲开椰子这个用途所必需的。正如Robert Rosen所说，在复杂系统中总是存在隐而未见的特性和意料之外的结果(Rosen, 2012)[55]。更糟糕的是，一个事物不同用法之间的关系仅仅是有名无实的，因为没有一种排序方式可以使这些用法以一种更有结构的方式联系起来(Kauffman, 2019; Kauffman and Roli, 2021b)[52][56]。

这带来了我们论点的一个基础要点: 在应急修补时，对于我们要使用的对象，我们无法让它的诸多用途组成任何一种定义良好的列表。同样，我们无法预先列出所有可能的目标、行动或生物体的affordance。换句话说，康德的整体不仅能够发现并利用affordance，而且能够不断地为自己创造新的机会。我们的下一个问题是:像人工智能“agent”这样的算法系统能做到这一点吗?

五、算法的有限理性

在引言中，我们将算法定义为一种可以在通用图灵机上运行的运算过程。这个定义以较宽泛的方式考虑算法，包括不停机的计算过程。所有的算法都是演绎的（deductive） (Kripke, 2013)。当我们在计算机程序中以某种形式语言实现算法的时候，我们必须引入特定的数据和代码结构，它们的属性和交互，以及在这之上我们允许进行的操作，以表示和我们计算相关的对象和关系。换而言之，在一个可以演绎地运作的程序上，我们必须提供精准定义的本体论（ontology）【译者注：关于什么是本体论可以参考本体论是什么？，简而言之即一种存在，一种实质性的东西，关于它本身是什么东西 】——比如说，通过推论或排序其中的任务来解决给定的问题。在算法的结构下，新的东西只能通过组合的方式来表示：它表现为在一个(可能很大，但预定义的)可能性空间中，对象之间新的组合、合并和关系。这意味着一个算法无法发现或生成不在（至少潜在的）其本体论考虑之下的新性质或新关系。因此，一个以演绎的方式运行的算法无法应急修补，因为它不能找到一个对象的新的因果属性——这些新的因果属性不是其逻辑前提中固有的。

为了说明这一点，让我们想想自动规划：规划程序有一个初始状态和一个预定义的目标，它的任务是找到一个可行的(以及理想情况下最优的)操作序列来达到这个目标。使得这个方法成功的原因是其能够按照属性来描述规划任务中对象的能力，以及在程序的本体论限制下依据其对世界产生的影响来表示行动，加之它们应用时所需满足的业务需求。为了使规划程序正常工作，一个对象的不同使用之间必须存在演绎关系，推理程序利用这一关系来定义一个求值函数，使它能够得到一个解决方案。规划程序的问题在于，通常情况下，一个对象的可能的使用方式之间没有演绎关系(参见前一节)。就比如说从把发动机缸体当成镇纸工具出发，算法没法演绎（deduct）出发动机缸体可以用来敲碎椰子这一点。当然，如果后者可以被演绎出来的话，那么它可以找到后者的用途。换言之，如果有（1）一个包括“发动机缸体拥有又刚硬又尖锐的角”属性的属性定义列表，（2） 一条说明“可被打碎的”类可以通过被具有“又刚硬又尖锐的角”的对象打破的规则，（3）关于椰子易碎事实的声明，那么敲碎椰子这一点可以被演绎出来。

计算机程序的可能性空间——无论你从哪方面解读——就像乐高积木下的世界一样：具有预先定义的属性和组合关系的积木可以生成很大的组合空间，如果积木能够源源不断的被提供，那么这个组合空间甚至是无限大的。然而，如果我们用透明胶单把这些积木不按原有套路捆上，或者拿个裁剪器把其中一些修剪成任意形状，那么规则啊，属性啊之类的就不再是被预先定义的了，我们再也无法预先声明一个定义良好的积木列表，以及相关的属性和关系。我们现在有一个无限可能性的宇宙，我们不再被困在算法的形式框架中。形式化规则已经到极限了。什么组成了有意义的组合关系变成了一个语义的问题，它取决于我们所处的环境和我们的奇思妙想。尽管我们的可能性并不一定是无限的，但是它们变得无法被预先定义。由于我们无法列出来这些定义，所以我们也无法以纯粹算法的形式处理它们。这也是为什么人类的创造力能够超越今日那些仅仅拥有组合式创新能力的人工智能。算法无法采取或者转换视角，这也是为什么它们无法像那些有机体一样利用观察到的模糊特征来创新。算法无法应急修补。

这个限制的根源在于算法并不会对什么东西有欲望。为了超越预先认识的可能性集合——去处理语义的问题——我们必须采取某种视角：我们必须要对问题有某种观点，这个观点取决于我们的目标，能力，和affordance（见第三节）。这就是有机体agent创造新的框架的方法——并在其间形式化可能性。算法无法做到这一点，因为它需要一个预先定义的形式化框架来演绎地在其间运作。

现在，我们要将我们的注意力转移到一个常常在讨论通用智能本质时被忽视的问题：长期以来，我们相信我们是靠着归纳（induction），演绎（deduction），溯因（abduction）来认识世界的 (Hume, 2003; Mill, 1963; Hartshorne and Weiss, 1958; Ladyman, 2001; Okasha, 2016; Kennedy and Thornberg, 2018)。那么在这里我们将证明仅仅靠这些是不够的。

先来考虑一下归纳法——从一组有限的例子到一个普适的假设。比如说我们观察到了很多只黑乌鸦然后得出了“天下乌鸦一般黑”的假设。我们可以看到这里“乌鸦”和“黑”这两个词是已经被预先声明的了。归纳法是基于我们对世界之前的认识，它不会得出新的类别来。在归纳法中，我们会把世界的某个属性（黑）归纳到我们已经认定的事物（乌鸦）上。然而这并不会让我们对世界本身的新特征有什么认识（见第二节）。让我们停下来思考一下：归纳法本身并不能揭示不属于我们本体论认知范畴的世界的新特征。

从预设的普遍范畴推演到具体范畴的演绎法，更是如此。“所有人都会死，苏格拉底是人，所以苏格拉底会死”。所有的数学定理和证明都有这样的演绎结构。但是归纳法和演绎法两者自身都无法揭示不属于我们本体论认知范畴的世界的新特征。

最后，我们来看溯因推理，对于观察到的一个现象，这种推理尝试给出一种解释——主张某种已知的先决条件导致这种现象的产生。举个例子，如果我们把汽车当做一种运输和交通工具，并将其分解为若干部分，这些部分相互整合在一起以支持其作为交通和运输工具的功能，那么如果汽车出问题了，我们就可以把这个问题解释为汽车的某个（些）部件出问题了。如果汽车点不了火，我们可以假定可能是电池没电了。溯因推理是从预先设定的一系列条件和可能性中进行分析，这些条件和可能性连结在一起让我们“看到系统正在做什么或者这个系统是什么”。但是对于一个系统并没有单一的分解方式，分解方式是无限的。所以，当这个在计算机程序中得到实现时，这种推理方式同样无法揭示不属于我们本体论认知范畴的世界的新特征。

做个小结 : 关于认识世界，一旦我们把这个世界划分为有限的一组类别，我们就无法再超越这些类别去看世界了。换句话说，新的意义——以及它们在真实物体上的作为象征的基础——是超出一个agent系统（主体系统）预先定义的本体论认知范畴的。这种限制同样适用于概率形式的推断（inference），例如贝叶斯网络(见Gelman等人，2013)。就之前提到的用发动机缸体来镇纸这一用途而言，贝叶斯网络会持续更新以提升发动机缸体的镇纸功能，但是这种更新并不能得出发动机缸体同样可以用来敲开椰子这个结论。这种创新的先验特征甚至在原则上就无法被推断（演绎）出来。类似的，马尔科夫毯（Markov blankets）(例如，参见Hip´olito等人，2021年)被预先存在的类别所局限。

有机体是通过某种洞察来了解世界的新特征的——语义上的意义构建——而并非由归纳法，演绎法或溯因推理。这对数学家来说是这样的（如第二节所示）。而苏格兰的乌鸦同样拥有这种洞察力，它们能解决那些拥有极高复杂度的问题，这些问题需要复杂的多步骤应急解决 (Taylor等人, 2010)。学习使用工具的黑猩猩也有同样的即兴发挥能力 (K¨ohler, 2013)。更简单的生物体——包括细菌——也必须有这种能力，尽管可能在更有限的意义上。毕竟，这种洞察能力是朝着更复杂行为发展的演化过程的基础，而这一过程的前提是发现和利用新的机会。相比于原始单细胞生物而言，我们人类本体已经进化到一个更复杂的状态。一般来说，所有生物的行为都与它们的目标、能力和affordance相一致(见第4节)，它们主体的行为可以经历变异和选择。一个有用的行为——利用新的affordance——可以被遗传变异(在基因的、表观基因的、行为的或文化的层面上)所捕捉，并代代相传。这种进化着的“认识世界”使我们本体论的进化扩展成为可能 。它超越了归纳，演绎和溯因推理。有机体可以如此，但通用图灵机不行。

综上所述，算法的理性受其本体论的限制。无论这个本体论范围有多广，算法都无法超越它们预定义的局限性，而有机体则可以超越。这就引出了我们的中心结论，这一结论既是激进的又是意义深远的: 一个有机体agent并不是所有可能的行为都可以被形式化，并通过算法来执行——并不是所有的有机体行为都是图灵可计算的。因此，生物体无法是图灵机。这也意味着真正的AGI无法在算法框架中实现，因为人工智能“agent”无法选择和定义自己的目标，因此无法利用affordance、处理模糊不清的信息，或以有机体agent的方式改变框架。由于这些限制，算法无法向真正的新方向进化。