认知功能神经网络模型的生物学约束_认知能力模型建模

神经网络模型是提高我们对复杂大脑功能理解的潜在工具。为了实现这一目标，这些模型需要具有神经生物学上的现实性。然而，尽管神经网络近年来取得了巨大的进步，甚至在复杂的感知和认知任务中实现了类似人类的表现，但它们与大脑解剖学和生理学方面的相似性并不完美。在本文中讨论了不同类型的神经模型，包括局部、自联想、异联想、深层和全脑网络，并确定了在哪些方面可以改善它们的生物学合理性。这些方面包括从模型神经元的选择、突触可塑性和学习机制到抑制和控制的实现，以及神经解剖学特性，包括区域结构和局部和远程连接。

本文强调了在发展以生物学为基础的认知理论和以这些大脑受限的神经模型为基础的机械性解释方面的最新进展，这些迄今为止尚未解决的关于高级大脑功能的性质、定位和个体发生和系统发育的问题。最后，指出了未来可能的临床应用的大脑约束模型。本文发表在Nature Reviews Neuroscience杂志。

介绍

许多研究都认为认知需要机械性的解释。人类和高等哺乳动物的卓越和特定的认知能力可能取决于其大脑的特定结构和功能特征。如果是这样的话，这些神经生物学特征必定在解释认知能力方面发挥决定性作用。尽管当前的科学研究在大体上理解大脑功能方面取得了重大进展，但解释神经组织的结构和功能特征如何带来认知、语言和思维仍然是一个挑战。本文指出，只有当用于建模认知的神经网络包含广泛的特征，使它们在不同层次上与真实的神经生物网络相似时，才能实现这样的解释。在这个观点中，本文讨论了最近朝着这一目标进展的尝试，并突出强调了7个大脑模型的约束，它们可能有助于使神经网络更神经化(图1)。本文主要讨论了当前已建立的认知神经模型类型(图2)，并给出神经模拟的例子，以新的方式整合几个大脑模型。这些网络提供了在多个大脑区域建立神经认知机制模型的视角，使用大量的真实神经元，通过短期和长期的神经解剖学连接，它们的局部和全局交互，从而为更好地理解认知机制提供了机会，包括知觉、分类、注意、记忆、语言和语义-概念加工。

1.认知的神经模式

局部网络

（注：作者这里提到的局部网络更合理地说不是网络的局部也不是某一个局部的网络成分，而是主要指特定模块化或者以往对局部功能特异性的关注，更在意将一些脑区或者一些神经元与特定的认知加工联系在一起，比如说基于脑损伤的语言障碍模型类似的研究）

呈现认知理论的标准方法是以抽象的方框和箭头图的形式，每个“方框”表示一个专门用于一个认知子过程(例如，声音处理)的模块，箭头表示模块之间的信息传输。这些模型通常基于涉及健康参与者的行为实验——例如，在调查语音和其他声音差异的任务中，这为语音和非语言声学刺激的不同模块假设提供了动机。虽然这些模型中的一些是根据对神经损伤个体的研究而改进的，但它们通常是在没有明确参考神经元网络的情况下制定的。所谓的认知和语言的局部模型向解决神经基础迈出了重要的一步，它用单个人工“神经元”填充了模块化模型的基本组成单元，这些神经元被认为局部地代表了认知元素，如感知特征和知觉、音素、单词形式、意义特征(图1a)。类似人工神经元的计算算法实现了与认知理论假设的实体之间的1:1关系，使两种类型的模型很容易联系起来。然而，单个神经元各自承担主要认知功能的概念在今天是有争议的，很难与神经科学研究的证据相一致。这并没有对某些神经元反应的巨大特异性提出异议，而是强调了目前主流的观点，即：即使是这些非常特殊的细胞“也不是孤立地行动，而是代表概念、物体或其他实体的细胞集合的一部分”。局部模型的进一步限制是，它们没有系统地解决表征及其联系形成的机制。

图1使神经网络模型在生物学上更可信的七个限制条件

自联想网络

（注：自联想神经网络(Auto-Associative Neural Network ,缩写为AANN)是1987年Ballard提出的，其网络原型是一种具有对称拓扑结构的五层前馈传递网络，AANN应用到数据检验问题时具有比较明显的物理意义。是BP神经网络的一种特殊情形。其特点是有对称拓扑结构，即输出量等于输入量。）

神经解剖学观察表明，大脑皮层的特点是神经元之间有丰富的内在和周期性连接，因此，它可以被视为一种自联想记忆。这种特征启发了一组人工神经网络，称为“自联想网络”或“吸引网络”。自联想网络模型实现了神经元之间的连接，因此每个神经元都与集合中包含的其他几个甚至所有神经元相连。这与后面讨论的异联想网络形成对比，异联想网络中，网络神经元的亚群之间存在连接，而每个神经元集合内部没有任何连接。为了模拟自联想网络中的学习效果，我们引入了所谓的学习规则，即根据神经元之前的活动来改变神经元之间的连接权值。例如，生物学上建立的无监督Hebbian学习，加强共同激活的神经元之间的连接，并导致在弱连接的自联想神经元集合中形成强连接的细胞集合(图2 b)。这些细胞集合可以作为分布式网络相关物或感知、认知或“混合”上下文相关的感知-认知状态的表征。因此，观察到皮层神经元在群体中一起工作，以及表征分布在这些群体中，可以被这种人工网络类型和学习机制所适应，从而克服了局部网络的主要缺点。

图2认知功能建模网络

图2：(a)一个局部网络模型包括代表认知实体的节点，例如，词形(中间层)、音素(底层)和语义特征(顶层)。

(b)自联想网络包括神经元之间的连接，因此反射活动是可能的;他们的灵感来自于相邻的皮质锥体细胞之间的局部连接。这部分给出了五个人工神经元之间的连接矩阵，α到ε。数字表示存在(1)或不存在(0)从矩阵左侧所列神经元到顶部所示神经元的连接。

(c)在异质联想网络中，按“层”排列的神经元群按序列相互投射，类似于某些神经结构中的连通性。

(d)深度神经网络包括几个隐藏层。每一层的神经元数量可以有很大的不同。

(e)全脑模型实现了区域间的全局连接。图中，右半球区域之间的连接显示了单个个体(左上)和一组个体的解剖学拓扑结构(左下)和矩阵形式(右下)。

自联想网络的其他认知相关特征包括细胞集合在部分刺激后完全激活的能力——这可能是gestalt完型测试的机制（注：这里提到的gestalt完型测试其实是格式塔心理学（gestalt psychology）提出的脑的机制假设，又叫完形心理学，是西方现代心理学的主要学派之一，该学派强调经验和行为的整体性，反对美国构造主义学说和行为主义“刺激--反应”公式，认为整体不等于部分之和，意识不等于感觉元素的集合，行为不等于反射弧的循环。格式塔理论提出：眼脑作用是一个不断组织、简化、统一的过程，正是通过这一过程，才产生出易于理解、协调的整体）;也就是说，只给予部分输入(尾巴和爪子)就能识别物体(比如猫)。其机制如图2b所示，刺激神经元α和β足以激活由神经元α、β和γ组成的细胞集合。此外，自联想网络整合了已建立的观察结果，即皮层神经编码可能是稀疏的(即，只有一小部分可用的神经元对给定的(复杂的)刺激作出反应，而一些(其他的)神经元对几种刺激的基本的和经常发生的特征作出反应(因此表现得不那么稀疏)。原因在于细胞集合重叠;也就是说，两个或多个这样的回路可以共享神经元，同时保持功能上的分离。这在图2b中由神经元α、β、γ和神经元γ、δ和ε形成的细胞集合的“重叠神经元γ”说明。

异联想网络

异联想或前馈网络包括两个或多个神经元集合或“层”之间的连接，层与层之间没有连接，并为分布式表示和学习提供了不同的途径。这些模型由按顺序连接的不同神经元集合组成，这种连接方案受到神经生物学结构的启发（注：作为对生物神经系统的模拟，人工神经元网络是由大量神经元相互连接而成的动力学系统，具有大规模并行处理、容错性强以及具有学习能力的特点。异联想记忆神经元网络是一个两层非线性神经元模型，具有信息存储和信息联想特点，其性能由学习算法决定。学习算法根据某种规则将训练模式集转化为神经元间的连接权值，形成神经元网络的内部表达方式。作为内容可访问存储器，异联想记忆模型具有从噪声输人模式反映出某个训练模式的能力）。一种常用的模型叫做“多层感知器”，经常用于并行分布处理，包括三个神经元层，其中一层接收输入，一层产生输出，还有一个“隐藏”层位于(图2c)之间。在这种网络中，认知实体的表示是密集和非稀疏的;也就是说，它们分布在隐藏层的所有神经元上，这样整个层的激活向量就是与一个物体、一个词、一个意思或一个想法相关的网络。为了在这些网络中实现一种学习形式，输入和输出“教师”信号分别被送入输入层和输出层，并对突触权值进行调整，使网络学习输入和教师输出之间的关系。为了调整突触权值，应用了监督学习算法，根据从输出层向后计算到所讨论突触的误差梯度来调整权值。最初，主要采用一种名为“反向传播”的算法;然而，最近，基于整个网络的错误梯度的一系列学习规则已经可用，从而允许“梯度依赖”学习的不同变体。为了实现内存进程，在三层架构中增加了一层，并与“隐藏”层相互连接。与自联想网络类似，包括三层或四层的前馈网络已经成功地解决了广泛的认知功能。

深度神经网络

为了进一步增强它们的计算能力，异联想网络被添加了更多的层，从而产生了深度神经网络(DNNs)(图2 d)。DNNs在几个重要方面发生了变化。例如，卷积DNNs包括(部分)层之间的几何投影，以促进相邻输入的联合处理，而递归DNNs包括层之间的相互连接和/或层内的循环链接，使信息能够随时间保持。这些改进已经制造出非常强大的设备，在一些认知领域，包括物体分类和语音识别，已经达到接近人类的表现水平。尽管DNNs取得了广泛的成功，但它的局限性最近被指出了。他们有时表现出不恰当的泛化行为，例如高度自信地将人类完全无法识别的图像作为特定物体的实例进行分类。类似地，对所谓对抗式例子的广泛研究表明，对图像的最小干扰，尽管人类无法察觉，却可能导致DNNs严重的错误分类。这些部分失败是否表明DNNs内在感知机制和大脑内部感知机制之间的相关差异，可以通过算法改进来弥补，或者更确切地说是反映了训练中应用的刺激集的局限性，仍有待研究。这与生物在个体发育过程中可获得的现实刺激不同。最近的一项研究发现，引入一个能更好匹配灵长类V1的隐藏层，可以增强图像分类神经网络中对抗性例子的鲁棒性，这表明更高程度的生物真实性可能是关键。

全脑网络

神经网络各层之间的连接通常很简单，相邻区域相互连接;然而，这不同于大脑皮层的连接结构，在大脑皮层中，许多区域以复杂的方式连接。“全脑”建模的主要目标是将复杂的大脑的细分为区域和核，并实现这些组成部分之间的神经解剖学连接。大多数“全脑”模型关注的不是大脑的所有部分，而是皮层区域和前脑核，或它们的选择。神经解剖学家已经在粗略和细分水平上绘制出了大脑皮层和大脑的区域结构。关于大脑结构连接的信息可以从动物的侵入性示踪研究中获得，这些研究揭示了纤维束及其方向性，也可以从动物和人类的非侵入性脑成像中获得。后者使用扩散张量成像或扩散加权成像与确定性或概率性血管造影。通过将皮层分成一组区域，将其结构连接转换为区域间连接，可以得到一个全脑或多区域网络模型，其中每个皮层区域和解剖连接分别有相应的网络节点和连接(图2e)。全脑模型可用于研究神经解剖结构和连通性的功能结果。多项研究模拟了在静息状态下自发出现的大脑活动的时空动态，以解释脑区之间的相互作用和脑区功能耦合。结果表明，皮质解剖结构的连通性，以及动态参数，决定并解释了静息状态下区域功能连接的出现。全脑网络为理解大脑活动的各个方面提供了一个重要的工具。然而，它并不是统一地运作整个区域，而是神经元及其在神经元回路中的相互作用，而神经元回路是承载大脑功能和认知的功能单元。关键的神经元回路及其相互连接部分由神经解剖学结构决定，但突触可塑性对回路形成同样有着重要的贡献。因此，为了提高生物学的合理性，有必要将神经元和可塑性纳入全脑网络模拟，从而利用上述联想神经网络实现的约束条件。从本质上讲，全脑网络模型可以通过在子区域和神经元水平上增加更多的细节来改进;相应地，通过增加区域内和区域间连接的神经解剖学信息，DNNs可以变得更加真实。

2.大脑的约束

为了使神经认知功能的神经网络更加真实，首先有必要建立不同层次的神经元机制模型，从神经元和局部皮层回路的微观水平到皮层区域和整体连通性的宏观水平，第二，在不同的层次上应用神经科学的约束(图1)。

在接下来的章节中，我们将逐点阐述“生物现实主义”的含义，并讨论一系列适用于认知功能网络模型的特定神经生物学限制条件——其中一些也适用于更普遍的神经网络。当认知过程成为焦点时，前脑特别是大脑皮层的机制受到了特别的关注。所提出的约束并不代表必须由模型以二进制方式满足的分类特征。相反，我们认为它们是神经模型可以根据其特定目的逐渐调整的维度。

不同层次的整合

以前的模型大多集中在一个特定的颗粒大小，旨在在单个神经元的水平上近似神经元功能，局部皮层回路中的神经元相互作用或皮层区域之间的整体相互作用(见全脑网络部分)。为了同时在大脑结构和功能的不同层次应用约束，这些不同层次必须被处理并整合到一个单一的模型中。此外，为了利用多个来源的实验数据进行模型验证，需要进行多级建模。这些不同的来源包括行为表现(例如，认知实验中的准确性和反应时间)和神经生理活动。在这里，不同的空间尺度再次发挥作用，从单细胞和多细胞记录的微观水平，到无创神经成像技术(如脑电图、脑磁图和功能磁共振成像)显示的局部场电位和宏观局部区域激活。这些生理数据也来自不同的时间尺度，从神经元和高频振荡之间的毫秒级别到更慢速的神经代谢变化。记录的神经元或成像区域的活动，甚至这些激活模式或它们揭示的短暂功能交互之间的相似性，都可能与人工神经元、局部神经元簇或模型的“区域”组件的激活模式有关。

同样地，局部皮层区域内或跨不同皮层区域的活动的时空模式可以与网络产生和整合的模式进行比较。这种在不同尺度上的活动模式的比较需要大脑的组成部分和网络在结构上彼此相似，并且有可能将大脑部分和网络部分区分开来。只有在这种情况下，生理测量才能用来验证神经模型。下面几节中的约束说明了这种相似性的不同方面。

神经元模型

皮层和大脑的功能单位是神经元。这些神经元接收输入信号，这些输入信号转化为突触后电位，最后转化为离散动作电位的输出，从而动作电位的频率可以连续变化。所有的神经网络都是由神经元的人工相关物组成的，但神经元功能模拟的细节水平有很大的不同。平均场模型使用具有连续输入和输出的神经元(因此忽略了大多数真实神经元的峰值)，以及一个将前者转换为后者的传递函数。它们可以被解释为模拟单个神经元的放电概率或局部神经元电路的累积活动。更复杂的“整合-放电”神经元模拟突触后电位的总和和由此产生的神经元放电，并可以扩展到整合树突间隔和它们输入之间的非线性相互作用。多隔室和生物物理神经元模型可以包括更多的细节，包括树突树的细分，突触后离子通道动力学和树突动作电位。因此，处理神经元模型真实感程度的进展维度可以从平均场推进到整合放电，再推进到生物物理神经元模型。此外，一些神经元活动很难用输入来解释，因此可以被视为噪音。加上噪音，再加上适应性(即随着延长激活而减少活动)，可以进一步增加神经元模型的真实感程度。然而，对于给定的研究问题，最详细的神经元模型并不总是最好的选择。值得注意的是，相对基本的神经元模型可以很好地描述神经元活动，而复杂的神经元模型需要更多的计算资源，目前限制了它们对与认知相关的区域内和跨区域交互的大规模模拟的适用性。

突触可塑性与学习

显然，学习机制是生物学的网络的一个关键生物学成分。如前所述，局部模型和全脑模型通常缺乏这个特性。为了在大脑中模拟多个学习系统，两种主要的学习形式，有监督的和无监督的，都是必要的。

基于生物学上的Hebbian原则的学习适用于所有的认知领域。它是由各种不同的学习规则一起逼近得到的。其中一些规则是基本的。其他规则包括更多的神经生理学细节，特别是那些既可以执行长时程增强(LTP)，又可以作为非相关或抗相关激活的结果执行长期抑郁(LTD)的规则。依赖于动作电位时序的突触可塑性被称为spike时序依赖性可塑性，是复杂实现的Hebbian学习的结果。由此可见，从无学习到基于LTP的Hebbian学习，最终到Hebbian LTP加LTD学习规则和spike时程依赖性可塑性的发展过程。

监督式学习包括使用反馈信号，告知个人或网络的表现是否合适。然而，在监督学习模拟中使用的算法的选择不仅受到生物合理性的指导；梯度依赖学习的计算效能也发挥了重要作用。这些算法在生物学上是否真实，是否适用于特定认知领域的复杂学习，这是有争议的。一些研究人员批评通过前馈神经元网络计算和反馈误差梯度的机制缺乏强有力的生物学支持，而另一些人指出，最近出现的神经生物学机制的证据可能在一定程度上支持上述机制。错误梯度可能通过生物神经元群体逐渐向后传播的机制仍然是正在进行的研究的目标。进一步假定的问题涉及梯度依赖学习所需的反馈类型。在DNN模拟中，可以进行数千次学习试验，例如，根据类别归属对物体图片进行分类(例如，它们显示的是猫还是杯子)。然而，在人类分类和语言学习的许多情况下，这种反馈并没有发挥主要作用——如果有的话，也只是很少可用。在某些认知学习的案例中，似乎没有某些输入就足够了。

抑制和监管

大脑是调节系统，皮层活动受到不同层次的控制机制的调节。这包括微观的局部回路水平，兴奋性的皮层神经元与局部抑制性细胞相互作用;宏观的、更全面的大脑部分相互作用水平，在这个水平上，皮层活动通过与丘脑、基底神经节和其他皮层下结构的信息交换来调节。许多用于模拟认知的分布式神经网络仅由兴奋单元组成，缺乏抑制机制。其他建模框架在抽象级别实现规则;例如，通过预先定义一个区域内允许同时活跃的神经元的最大数量。更现实的神经网络模型包括兴奋性和抑制性神经元元素，这样活动的调节和控制是通过它们的相互作用实现的，这是一种对唤醒和注意力至关重要的机制。很少有模型同时实现了局部和全脑监管机制。将抑制和调节机制包括在局部层面和更广泛的全脑层面是使神经认知网络在生物学上可信的一个重要特征。

区域构造

大脑皮层是由一系列区域组成的，因此区域的定义主要是基于解剖学标准，有时还会利用功能信息进行细化。根据模拟要解决的问题，网络模型可以实现一个皮层区域、特定选择的皮层区域或所有皮层区域以及皮层下核。每个区域或细胞核都可以实现为一个单独的“层”或模型区域，包括预定义数量的人工神经元。

区域内内部连接

锥体细胞是皮层中最常见的兴奋神经元，每个细胞携带1万至4万树突棘，而每一树突棘又通常包含一个突触。因此，这些细胞中的一个可能会与数以万计的其他皮层细胞相接触——在人类皮层的150亿到320亿神经元中。连接的数量太大了，单靠遗传密码无法逐个项目地确定，因此随机原则也必须共同决定一对特定的神经元是否连接。两个相邻的锥体神经元连接的概率随它们之间的距离而减小。总之，神经解剖学研究表明，皮质区域内的局部兴奋性连接是稀疏的，并显示邻域偏向于相邻神经元之间的连接。鉴于这些特征，异联想网络缺乏层内连接在生物学上似乎不现实。许多包含自联想层的网络包括这些区域内所有神经元之间的完全连接。这种完全的自联想性与固有的局部皮质连接的稀疏性形成了鲜明对比。在将自联想与区域间异联想连接连接起来的神经网络中，实现了具有邻域偏差的稀疏、局部和部分随机连接的脑约束。对于局部连接约束，最先进的是实现不同细胞类型及其在新皮层各层位置的微电路模型。尽管如此，对于今天大多数可用的神经网络来说，区域内连接约束的实施仍然会导致生物真实性的增加。

全脑区域之间的连接

大脑皮层区域之间的连接遵循一些普遍的规则。大多数连接是相互的。相邻区域几乎总是相互连接的，而第二邻域在许多情况下是相互连接的。然而，较长距离的连接是稀疏的。如果两个区域是存在连接的，它们的连接在大多数情况下是相互的，并显示地形投影，这样就保留了局部相邻关系。区域间的连接由皮质锥体细胞的长轴突分支进行。这些轴突分支穿过白质，可以到达远处的神经元，在那里它们分支并与附近的神经元联系。生物现实主义的一个进展可以通过引入随机连接来实现，这种连接带有对地形投影和邻域连接的偏见，例如，在多区域自动联想和卷积深度网络中。在宏观层面上，用现实的连接方案替代相邻连接区域的典型线性排列(图2c,d)是出于生物学原因。因此，人工神经网络的基本大脑约束来自于神经解剖学研究记录的区域间连接的连接结构。对全脑连通性的额外限制可能来自功能连接的方法，包括基于相关性的无向功能连通性和有向有效连通性。然而，我们建议应用神经生理学证据等数据来验证解剖约束模型，而不是作为先验约束。

2.近期进展和趋势

我们建议，大脑功能模型应该尝试整合前面提到的七个大脑约束条件中的几个，最好是所有的。微观层面和宏观层面的结合对这一努力至关重要。Schmidt等人的模型令人信服地将局部与区域结构和全局连通性约束结合起来，并以迄今为止前所未有的细节水平模拟了人类大脑的静息状态活动(图3)。然而，这个模型对计算的要求很高，并且触及了当前先进计算设备的模拟能力的极限，尽管它被限制为模拟32个区域，每个区域模拟的是皮层表面1mm2以下的神经元。这些限制表明，为了使计算工作易于管理，有必要仔细选择约束可以逐渐满足的程度。此外，以最极端的形式应用所有约束可能导致计算上无法实现的模型，即使实现了，也可能过于复杂，无法作为更好地理解大脑功能的工具。图3：对猕猴视觉系统的32个皮层区域的神经生理活动进行了模拟。区域间连通性的概率(左下角面板)基于解剖数据和一般连通性原则。通过进一步的神经解剖学约束，每个区域被建模为皮质的1mm2的块，兴奋性和抑制性刺突细胞(右图)分层排列，层特异性细胞群内部和层特异性细胞群之间的特定连接概率(左上图)。该模型用于再现和解释神经生理学记录的神经元活动峰值、跨区域的活动传播以及神经元种群和区域之间的因果动态相互作用。该模型统一了皮层的局部和大规模描述，并阐明了皮层的局部和整体连接如何在多个尺度上塑造其动态。

图3基于神经解剖学约束的多级神经动力学解释网络

自动标志识别和分类

如前所述，认知神经模型评估的证据可以来自单细胞和多细胞记录，功能型MRI区域激活模式或时空激活模式，揭示了不同神经元群体或区域的神经活动协调。例如，许多物体识别模型都能够描述人类的物体分类性能，但只有与大脑结构有一定相似性的神经模型才能利用人类和猴子颞下皮层不同水平记录的神经生理学数据进行测试。对于这样的测试来说，不仅可以采用揭示物体感知和分类过程中激活的位点的方法，而且还可以采用更复杂的表征相似性分析方法，它允许人们将不同刺激引起的大脑激活模式之间的相似性程度与刺激本身的相似性结构联系起来，相似性结构可以在不同的水平上测量。值得注意的是，表征相似性分析显示颞下皮层的神经代谢活动反映了视觉感知对象的语义相似性。替代神经(和非神经)模型的应用和比较表明，通过应用监督学习训练的前馈卷积DNN，可以获得表征物体知觉的颞叶皮层区域特异性激活模式和模式相似性的最佳拟合。此外，最近的研究表明，在DNN中包含复发连接对于捕捉颞叶皮层中观察到的快速神经生理动力学方面至关重要。除了这些模型已经解决的结构和功能约束之外，未来还可能考虑区域内和区域间连接的进一步结构约束。

注意力研究

对注意力的研究为神经科学约束在认知理论中的应用提供了另一个例子。长期以来，心理学家已经建立了这样一个理论，即视觉选择性注意对物体和特征的感知存在偏见，不同的知觉元素相互竞争以获得注意力，这种相互作用被注意力的偏见竞争模型所描述。这一认知理论被转化为早期和高级视觉皮层。受到神经科学数据的启发，兴奋性和抑制性神经元集合与区域内和区域间连接被用来模拟表征之间的交互作用，注意偏差和资源限制抑制，并有助于解释在非人灵长类动物行为和神经生理学记录的实验结果。在另一项使用卷积DNN的独立工作中，注意力对视觉物体分类的影响最近被证明取决于偏见应用的水平，在将注意力偏向特定对象类别方面，上层调制相对于下层调制更有效。这一观察结果可能有助于阐明前颞区和前额叶区在视觉注意加工中的作用。

语言处理和推理

以神经生物学的形式对大脑认知功能进行建模的一个相对简单的方法是选择一组区域和核，每个区域和核使用一组神经元进行建模，将认知功能分配给模型区域，并使用预定义的或学到的区域特定激活向量之间的映射来确定它们之间的相互作用。这一策略催生了受生物学启发的认知功能模型，包括概念、语言和数字处理。由于大小(250万个神经元)和在各种认知任务中执行神经元模型约束(整合和激活神经元)，其中一个这样的模型特别令人印象深刻。20个大脑区域(区域和核)在模型中被表示出来，每个区域都由一组神经元组成，尽管区域之间的连接有时是理想化的。在这些区域内，要么没有连接，要么完全连接，抑制神经元缺失。因此，七个限制条件中的三个已经得到解决。其他使用词汇和任务范围小于这个大型模型的脑约束模型已经成功地将概念和语言处理与动作和感知机制结合起来，并已应用于机器人。

解释神经科学的发现

除了将认知理论应用到神经生物学环境中，大脑约束模型还可以为长期存在的神经科学问题提供答案，这些问题包括大脑的特定能力是如何机械地实现的，它们是如何在个体发生中出现的，它们是如何在系统发育过程中产生的，以及它们为什么位于大脑中被观察到的特定部位。我们现在特别转向这个解释性的观点。

记忆

本文讨论的一些模型为注意力的竞争方面提供了一种机制解释，这种竞争方面来自于局部抑制连接和区域投影之间；然而，注意力的偏见竞争模型的另一个组成部分，偏见(例如对一个物体或视觉空间的一部分的偏见)，通常是从外部呈现给模型的，因此仍然没有模型内在的解释。偏见的机制可能来自基于神经元功能和结构连接的记忆动态网络模型。在这里，亚细胞水平的记忆机制(如突触可塑性)是重要的，但在这些模型中，为什么特定类型的记忆在特定物种、大脑部分和回路中发展的问题仍然是部分开放的。通过适当调整激活阈值和突触权重，完全连接的自联想记忆具有持久吸引子状态，这可能与工作记忆相关。在使用峰值神经元的模型中，在他们的“区域”内具有全对全连接的自动联想网络产生了类似于工作记忆实验中颞下叶神经元记录的放电模式。

进一步的工作解决了为什么不同的皮层区域通常表现出不同的主要记忆活动模式的问题。Hebbian的学习原理表明，记忆回路是由感官刺激时一起发出信号的神经元构成的，因此它位于要存储的信息到达的区域;也就是说，在主要地区。然而，大多数具有记忆特征的神经元出现在远离主要区域的多模态区域(前额叶、前颞叶和后顶叶皮层)。一个实现6个额叶和颞叶区域及其神经解剖学连接结构的深度神经模型显示，应用于该网络的无监督Hebbian学习产生了初级、次级和多模态区域的放电模式和记忆细胞的真实分布，从而提供了一种基于神经元功能和皮质皮质连接的皮质记忆拓扑和动力学的解释。在一个相关的线索上，最近的一项研究问道，为什么一种特定形式的记忆，即口头工作记忆(即对口语和类似语言的声音刺激的记忆)，是在额颞区连接结构的特定进化变化的背景下发展起来的，而且是针对人类的。研究表明，在灵长类进化中观察到的额颞叶连通性的特异性增加，导致了发音-听觉单元的分布式神经元回路的出现，从而提供了基于系统发育结构变化的特定人类特征的解释(图4)。这个模型和前面描述的一个模型实现了在这个观点中讨论的七个约束条件(特别强调“区域之间的全局连接”)，尽管区域的数量和局部微电路模拟的细节水平仍然可以增加。

图4左额颞叶皮层进化连接变化模型及其功能结果

图4：(a)研究人员用“猴子”和“人类”的额颞叶皮质六个区域的模型来解决这个问题，这六个区域涉及到发音和听觉知觉(中间的图)。这些区域被模拟成625组平均场兴奋神经元，每个神经元随机投射到其他兴奋单元的局部邻域(e,彩色);每个兴奋性细胞都有一个相应的抑制性“细胞”(i，浅灰色)，突出于狭窄的局部邻域(左图)。

(b)在被学习到的听觉模式刺激后，猴子模型的模型区域显示出微弱且短暂的顺序激活。

(c)同样的刺激导致了人体模型区域的强烈和持久的平行激活。这种长时间的活动可以解释为语言工作记忆，这是人类语言的一种必要机制。

语言处理

在语言和概念处理领域也可以取得类似的解释性进展。众所周知，额叶、颞叶和顶叶的多模态区域一般对概念和语义加工很重要，而感觉和运动模态优先区域则对特定语义类别的加工有贡献。脑理论认为，多模态信息的聚合对概念机制至关重要。为了从猫的视觉感知到相关的概念，例如，关于猫通常会发出什么样的声音的知识，需要整合来自不同形式的信息。这种多模态信息的整合需要不同皮层区域(彼此相距较远)模态特定神经系统之间的连接，这意味着概念加工中存在大规模连接结构的作用。前额叶和颞叶皮层的词汇学习过程模型应用了现实的早期语言学习场景、无监督学习和解剖学限制的局部和全局连接，显示了与数据一致的概念和语义加工神经元回路的分布。具体来说，概念回路的大多数神经元是由符号及其相关物体或动作的协同处理信息形成的(图5)，它们被放置在模型的多模态收敛中心中。相反，在概念学习过程中，特定通道特定区域的刺激和相关的神经激活地形有助于解释通道偏好区域的类别特定贡献。同样，现实的区域间连通性是这些解释的一个关键因素;所有七个限制条件都得到了解决。

图5 语义基础的脑约束模型

图5：(a)为了模拟婴儿对物体相关和动作相关词汇的意义的学习，我们建立了一个12区域的模型，包括图4中的6个额下半部分和颞上半部分。区域之间的连接用箭头表示。

(b)回路神经元在模型区域的分布。条形图给出了每个区域内物体文字回路(蓝色)和动作文字回路(红色)的平均神经元数量。

4.未来的应用

除了前面提到的大脑约束模型的理论和解释方面的进展外，这种新的策略为未来提供了非常实用的应用策略。其中一个应用涉及神经可塑性，旨在预测和解释损伤或剥夺后认知功能的重组。在这种背景下，最近的建模尝试已经针对语言相关皮层区域的局部性损伤和盲人的感觉剥夺患者的语言处理改变进行了研究。这些模拟实验得出了有充分记录的神经可塑性现象的解释;例如，先天失明的个体在语言和认知过程中对视觉区域的接管。

在未来，可能会以个别大脑的特定特征执行神经计算模型的限制。个别受限神经网络获得的结果可能为预测未来神经可塑性动力学开辟新的前景，并可能用于规划个性化治疗或手术，例如针对脑肿瘤患者。因此，应用于特定人群甚至个别案例的脑约束模型可能会打开富有成效的未来前景。

总结

本文对认知的神经网络模拟及其成功的案例进行了综合性的评价，并在本文种提出，未来的相关研究应该更以生物学为导向的建模迈进。根据该视角提出的立场，神经科学对模型约束应优先于其他目标，如处理效能和大数据处理。

除了建立在宏观尺度和微观尺度之间的桥梁的必要性之外，为了让它们能够在不同水平上通过生理数据进行测试，所提出的约束条件可以解决了神经元模型，学习算法和调节机制缺乏神经解剖学方面的约束问题，并可以从实践上细分短连接和长连接的问题。作为脑约束模型的具体例子，本文回顾了神经认知理论的生物动机神经计算实现，以及基于模型的对物体感知、注意力、记忆、概念和语言及其个体发生和系统发生的发展。大脑约束模型的未来前景包括生成能够识别个体大脑特征的网络，这可能有助于评估特定个体大脑皮层的哪些部分对保留特定的认知功能至关重要。