Nature Communications：基于连接组的储层计算：conn2res工具箱_储层计算网络

神经回路的连接模式形成了一个复杂的网络。这些回路中的信号如何表现为复杂的认知和适应性行为仍然是神经科学领域的核心问题。连接组学和人工智能的同步进步为理解连接模式如何塑造生物大脑网络的计算能力开辟了全新的机会。储层计算是一种多用途的范式,它使用高维非线性动力系统来执行计算并近似认知功能。在此,我们提出了conn2res:一个用于将生物神经网络实现为人工神经网络的开源Python工具箱。conn2res是模块化的,允许施加任意的网络架构和动力学。该工具箱允许研究人员输入使用多种技术重建的连接组,从神经纤维追踪到无创扩散成像,并施加多种动力学系统,从脉冲神经元到忆阻器动力学。conn2res工具箱的多功能性使我们能够在神经科学和人工智能的交汇处提出新的问题。通过将功能重新概念化为计算,conn2res为更机械地理解大脑网络中的结构-功能关系奠定了基础。本文发表在Nature Communications杂志。（可添加微信号19962074063或18983979082获取原文及补充材料，另思影提供免费文献下载服务，如需要也可添加此微信号入群，另思影脑影像分析业务，如感兴趣也可咨询)

引言
      大脑是由解剖学连接和功能相互作用的神经元组成的复杂网络,具有无缝同化和与不断变化的外部环境相互作用的能力。感觉刺激在结构连接网络内引发信号事件,并表现为神经活动模式。这些涌现的神经动态被认为支持认知和自适应行为的计算。然而,描述大脑网络中信息处理和功能专业化如何发生的计算框架仍然难以捉摸。开发这样一个框架需要理解信息处理层次结构的多个层次,从大脑的网络架构如何塑造外部刺激引起的复杂活动模式,到神经回路如何从这些诱发的活动模式中提取必要的信息以计算时变输入。

     网络结构如何塑造神经活动的时空模式,神经动力学如何支持认知功能和行为的计算?这个难题的一个重要部分是连接组学研究。神经影像方法的技术和分析进展使重建神经系统的布线模式成为可能,产生了多个物种大脑的高分辨率连接组。连接组的可用性导致了各种模型的形成,旨在将网络架构映射到大脑的各种功能方面7,如涌现的神经动力学,功能共激活模式,以及行为中的个体差异。多个网络特征与涌现的功能现象相关,但静态网络架构与认知之间没有明确的机制联系。

       此外,不同物种的连接组描述性研究提供证据表明,结构连接网络显示了被认为塑造信息分割和整合的拓扑特征。例如,分离模块的高度聚集架构的同时存在促进专门信息处理,而高度互连的核心高度枢纽缩短了通信路径,促进了来自分布式专门领域信息的整合。大脑架构的这些无处不在的组织原则如何赋予计算能力仍然未知。

       人工智能提供了另一种考虑计算的方式来研究脑网络中结构和功能之间的联系。在不断扩展的人工神经网络模型中,储层计算(reservoir computing)可以描述递归神经回路如何从连续的外部刺激流中提取信息,以及如何逼近复杂的时变函数。在储层网络中,学习仅发生在读出连接处,因此储层的主要网络架构在训练过程中无需特定的权重校准,保持固定不变。这消除了一个混淆因素,同时避免了使用反向传播训练等在生物学上不可信的信用分配问题。这些原因使得储层计算成为研究连接体架构对计算和学习影响的理想范式。在这方面,通过将功能概念化为计算属性,机器学习和人工智能算法为研究脑网络中的结构-功能关系提供了新的方法。

      在这里,我们回顾了储层计算的基本原理,以及如何将其应用于获得对生物神经回路信息处理的机制洞察。然后,我们介绍了conn2res(https://github.com/netneurolab/conn2res),这是一个开源Python工具箱,可以将连接体实现为执行认知任务的储层。本着开放科学的精神,conn2res建立在其他第三方资源和研究计划之上,并与之互操作,为研究人员提供了一套详尽的实验配置/设置。这包括涵盖广泛计算和行为范式的全面认知任务语料库、多种局部内在动力学以及用于任务学习的各种线性优化算法。所有这些结合了在不同尺度上重建并从任何成像模式获得的连接体的实现可能性。我们添加了一个教程部分,其中包含几个用例示例,以说明conn2res工具箱支持的不同类型的推理,以及展示其在网络架构、网络动力学和任务范式方面的灵活性。conn2res包含了从微回路到全脑网络模型的不同建模传统,为研究人员探索生物脑网络中结构与功能之间的联系提供了一种新颖的方式。

构建储层计算机
      储层计算(Reservoir Computing, RC)是一个统一了两种计算范式的总称,即液态机(Liquid State Machines)和回声状态网络(Echo-State Networks)。这两者分别独立起源于计算神经科学和机器学习领域,有一个共同的目标:利用复杂非线性动力系统的计算特性。然而,RC范式所包含的思想以不同的形式已经存在了二十多年。

     传统的RC架构由输入层、储层和读出模块组成(图1a)。通常,储层是由非线性单元组成的递归神经网络(RNN),而读出模块是一个简单的线性模型。读出模块被训练来读取由外部输入信号引发的储层激活状态,并以监督的方式将其映射到期望的目标输出。与传统的人工RNN不同,储层内的递归连接是固定且随机分配的;只有储层和读出模块之间的连接是学习的(图1a)。

图1 储层计算

     a.传统的储层计算架构包括一个输入层,然后是一个隐藏层或储层,通常是一个由非线性单元组成的循环神经网络,以及一个简单的线性模型作为读出模块。与传统的人工循环神经网络相比,储层内部的循环连接是固定的;只有储层和读出模块之间的连接需要训练。更重要的是,RC(Reservoir Computing, RC)允许实验者实现任意的网络架构和动力学。因此,生物学上可信的接线模式(上图)和不同类型的局部动力学(下图)可以叠加在储层上。

      b.通过在跨越多个认知领域的各种任务中训练基于连接组学的储层,我们可以系统地将网络结构和动力学与可识别的计算属性集联系起来。通过这样做,我们可以建立一个广泛的结构-功能关系词典,其中我们将大脑网络结构和动力学与基本的计算模块联系起来。

      c.该混合框架的其他应用包括研究连接组学架构的变化如何支持个体计算能力的差异,或者由于病理或外部刺激引起的网络扰动的功能后果,或者如何随着生命周期或进化过程中结构的适应塑造大脑网络的计算能力。通过这种方式,RC范式为神经科学家提供了一个工具,用于研究网络组织和神经动力学如何相互作用,以支持生物学信息启发的储层中的学习。

      那么,RC是如何工作的呢?RC利用高维动力系统(称为储层)的非线性响应。储层对输入进行非线性投影到高维空间。这种输入转换将非线性可分离的信号转换为线性可分离的信号,从而可以训练读出模块中的线性模型将转换后的输入映射到期望的输出。换句话说,储层将输入转换为丰富的动态模式,其中包含关于输入历史的综合信息,并通过线性读出来解决复杂的任务。只要储层具有足够的内在动力学复杂性和丰富的动力学,就可以实现各种输入-输出映射,包括近似复杂的时变函数,例如预测混沌时间序列,这被认为是一个具有高计算复杂性的问题。在某些条件下,例如存在衰减记忆和分离特性,储层可以作为通用函数近似器。

       因此,储层的计算能力取决于其动力学,这源于储层的固定网络架构与控制其内部单元时间演化的方程或规则之间的相互作用。重要的是,与传统的人工神经网络不同(图2a),在RC中,实验者可以指定储层的连接以及控制其局部动力学的方程(图2b)。同样,通过调整系统的参数,实验者可以将全局网络动力学转换为定性不同的动力学状态,如稳定性或混沌。因此,RC范式提供了以下优势:任意网络架构和动力学可以叠加在储层上,为神经科学家提供了一个工具,用于研究连接组学组织和神经动力学如何相互作用,以支持生物学信息启发的储层中的学习(图2c)。

图2:储层计算的演变。

     RC的架构灵活性是多尺度的：储层的网络架构可以由在不同空间尺度上重建的连接组学信息启发,从微观电路到中观和宏观网络(图1a)。根据上下文,储层的单元代表神经元群体或整个大脑区域。局部动力学的选择主要取决于储层网络的空间尺度,但也应考虑手头研究问题的性质(图1a)。与传统的RNN不同,其中全局网络动力学由学习引起的连接变化决定,RC不仅允许我们施加不同类型的局部动力学,而且也可以控制支配群体水平行为的全局动力学。这意味着储层的动力学状态或定性动力学行为可以被调整,从稳定逐渐过渡到混沌,从而经历一个临界相变或临界性。通过参数调整动力学使其更接近或更远离临界点,RC允许我们研究这个临界点附近定性不同的神经轨迹对储层计算性能的影响。RC动力学和结构灵活性的另一个优势是可以以功能或结构归纳偏差的形式强制执行计算先验。因此,RC允许我们探索被认为是生物大脑所利用的信息处理策略(如临界动力学或计算先验的存在)的功能后果。

      RC可用于任意网络架构和动力学这一事实,加上可以执行跨越多个认知领域的各种任务的可能性——从感知运动功能、记忆和学习,到复杂的注意力和执行功能——使其成为研究特定网络属性和动力学如何影响支持认知的神经计算的理想选择。具体来说,通过在这些多个认知领域实现各种任务,基于连接组学的储层允许我们系统地将网络结构和动力学映射到一组独特的、仅针对手头任务的可识别计算属性(图1b)。通过这种方式,RC框架允许我们建立一个全面的结构-功能本体论,将网络结构和动力学与基本的计算模块相关联,并最终与认知功能相关联。

       这种人工智能和神经科学之间的混合方法的应用不仅限于探索健康大脑中结构和功能之间的联系。例如,它可以应用于临床环境,以研究神经系统疾病如何影响网络中的学习。通过将临床人群信息启发的储层的性能与健康对照组的性能进行比较,该框架允许我们研究认知衰退(测量为计算能力的变化)是否可以用神经退行性疾病引起的网络架构的可测量变化来解释(图1c)。RC框架的另一个相关应用是探索结构和功能之间的联系如何在发育或进化等适应过程中发生变化(图1c)。例如,通过实现在整个生命周期或来自不同物种的连接组作为储层,该框架允许我们分别研究网络架构的变化如何转化为个体发育和系统发育过程中计算能力的差异。在所有情况下,RC框架都允许通过将经验神经网络架构与随机或空网络模型进行基准测试来进行统计显著性检验。总之,这个混合框架提出了一种研究大脑网络中结构-功能关系的新方式:从将功能理解为一种现象(即区域间功能相互作用或功能激活图),到一个更接近大脑网络计算和信息处理特性的功能概念,从而有助于更机械地理解计算和功能特异性是如何从神经回路中网络架构和动力学的相互作用中产生的。

      除了RC为神经科学界提供的优势外,从工程的角度来看,这一范式也很有前景。与通常耗时和耗能的模拟RNN不同,储层可以使用物理系统、基质或器件来实现。在这方面,这些神经形态芯片的架构可以受益于对生物网络中连接模式的新兴理解。例如,系统地将网络属性和动力学状态的组合映射到一系列计算功能,可以帮助设计特定问题的定制架构。由于其物理特性,神经形态系统受到空间、材料和能量的限制,类似于生物神经网络。因此,对大脑网络经济性组织的洞察可以有助于这些信息处理系统的成本效益设计。此外,训练仅在读出阶段发生这一事实使得RC成为一种非常计算效率高的学习方法。除此之外,可以通过同时训练多个读出模块来执行各种并行任务,从而实现并行信息处理。因此,与其他RNN相比,物理RC和RC通常为更快更简单的多任务学习提供了一种强大的方法。由于储层的动态和多功能特性,RC范式非常适合于广泛的涉及时间和序列数据处理的监督任务。这些包括:时间序列预测、动态模式生成、分类和分割、控制、信号处理以及稀有事件监测等。由于所有这些原因,物理RC系统已成为开发新型脑启发计算架构的理想候选。

结果：

      conn2res是一个开源的Python工具箱,允许用户将生物神经网络实现为储备池(reservoir)来执行认知任务(https://github.com/netneurolab/conn2res)。该工具箱建立在以下文档完善且维护良好的Python包依赖之上:NumPy(https://numpy.org;62,63,64)、SciPy(https://scipy.org;65)、pandas(https://pandas.pydata.org;66)、Scikit-Learn(https://scikit-learn.org;67)、Gym(https://www.g

ymlibrary.dev;68)、NeuroGym(https://neurogym.github.io;53)、ReservoirPy(https://github.com/reservoirpy/reservoirpy;69)、bctpy(https://github.com/aestrivex/bctpy;70)、Seaborn(https://seaborn.pydata.org;71)和Matplotlib(https://matplotlib.org;72)。该工具箱还可以与其他相关的Python包互操作,包括The Virtual Brain(https://www.thevirtualbrain.org;73)、bio2art(https://github.com/AlGoulas/bio2art;74)、NeuroSynth(https://neurosynth.org;75)、Neuromaps(https://neuromaps-main.readthedocs.io;76)和Enigma Toolbox(https://enigma-toolbox.readthedocs.io;77)。除了与其他Python包的广泛互操作性,conn2res工具箱的一个主要优势是在构成主要RC工作流的不同组件的选择方面具有很大的灵活性。conn2res工具箱专门被设计为神经科学家探索关于脑网络结构-功能耦合的各种假设的工具。因此,与其他RC相关的软件包相比,它在网络架构、局部动力学、学习算法、任务范式和性能指标方面提供了更高的灵活性。据我们所知,这些在其他RC包中通常是固定的或有限的。表S1根据这些标准将conn2res工具箱与其他知名的RC Python包进行了比较。

表S1. conn2res工具箱 - 与其他基于RC的Python包的比较。

      基线的conn2res工作流需要以下输入参数:(i)任务名称或数据集:要执行的任务的名称,或用于监督学习的输入-目标对的标记数据集也可以提供。conn2res是NeuroGym的包装器,NeuroGym是一个精心策划的行为范式集合,旨在促进神经网络模型的训练,并且与神经科学界相关。NeuroGym中可用的20多个任务在conn2res中也都可用,其中一些包括感知决策、依赖上下文的决策、延迟比较、延迟配对联想和延迟匹配类别;(ii)连接组:作为储备池网络架构的连通性矩阵。该工具箱支持有向和无向网络的二元和加权连接矩阵;(iii)输入节点:接收与手头任务相关的外部输入信号的节点集;(iv)读出节点:将从中检索信息以训练读出模块中的线性模型的节点或模块集;(v)储备池局部动力学:控制储备池单元激活的动力学类型。局部动力学可分为两类:由差分方程控制的离散时间和基于微分方程的连续时间。前一类包括具有ReLU、leaky ReLU、sigmoid和双曲正切等激活函数的线性和非线性人工神经元模型,而后一类包括非线性脉冲神经元模型。底层的漏积分发放神经元模型是基于参考文献79中提出的框架,具有来自参考文献80的模型参数,并为突触前脉冲序列实现双指数突触滤波器。这个灵活的模型提供了更高的生物学合理性,特别是允许用户指定异质突触时间常数、人工刺激/抑制以及特定于中间神经元的连接约束;(vi)线性模型:指定为Scikit-Learn库中的线性模型估计器实例,由读出模块实现学习。

图3 conn2res toolbox.

a conn2res的一般工作流需要用户提供以下参数:(i)任务名称或监督学习数据集;(ii)连接组或连接矩阵;(iii)一组输入节点;(iv)一组读出节点或模块;(v)局部动力学的类型,可以是脉冲神经元、人工神经元(具有多种激活函数)或忆阻器(用于模拟物理储备池);(vi)在读出模块中训练的线性模型。

b 在主流的conn2res工作流中,输入信号(X)通过输入节点(蓝色节点)被引入到储备池中。信号在网络中传播,激活储备池内单元的状态。然后检索读出节点(紫色节点)的激活状态,并用于训练线性模型以近似目标信号(Y)。根据储备池的类型,性能可以是单一分数,也可以是性能随调节储备池动力学的参数变化的曲线。

c conn2res工具箱具有模块化架构。它由六个模块组成,每个模块包含支持conn2res管道中特定步骤的函数。

      conn2res典型的工作流如图3b所示。在第一阶段,获取任务数据集,如果用户提供了任务名称,则从conn2res存储库中获取由输入-标签对组成的监督数据集,或者如果提供了外部路径,则直接加载。在第二阶段,设置连接矩阵,创建一个储备池对象的实例,并根据用户分别指定的连接矩阵和局部非线性类型设置其网络架构和动力学。在第三阶段,模拟储备池动力学,前一阶段的任务输入作为外部信号通过用户指定的输入节点集引入储备池。conn2res工具箱中的动力学模型模拟储备池内部单元的时间演化(这些单元由于外部输入信号的传播而被激活),并为储备池中的每个节点生成时间序列活动。在第四阶段,学习,检索用户指定的读出节点或模块的时间序列活动,并与第一阶段的任务标签一起传递给读出模块。这两者都用于训练读出模块中的线性模型。最后,在第五个也是最后一个阶段,评估性能,根据储备池的性质,最终输出可以是单一的性能分数,也可以是显示性能随控制储备池动力学定性行为(即稳定、临界或混沌)的参数变化的性能曲线。根据任务是需要分类模型还是回归模型,目前有多种性能指标可用。为了方便用户的体验,该工具箱提供了几个示例脚本,演示了用例驱动的工作流。

      conn2res工具箱采用模块化设计。它由六个模块组成,每个模块包含支持主流conn2res管道中特定步骤的函数(图3c)。用于生成任务数据集的包装函数和类可以在tasks.py模块中找到。连接矩阵上的所有类型的操作,如二值化、权重缩放、归一化和重连,都由connectivity.py模块中的Conn类处理。储备池的特征,包括其网络架构、局部动力学和储备池激活状态的检索,由reservoir.py模块中的Reservoir类处理。负责训练和测试读出模块中线性模型的函数分别包含在readout.py和performance.py模块中。最后,plotting.py模块提供了一组绘图工具,用于辅助可视化管道中生成的不同类型的数据,包括任务输入-输出数据、储备池网络架构的二维连接矩阵、模拟的储备池状态、读出模块的决策函数和性能曲线。

教程
     本节提供了conn2res工具箱支持的多种实验设置和推断的更广泛概述。第一部分包括一个详细的分步示例,用于说明conn2res工作流程的主要操作。第二部分介绍了三个应用案例,其中使用该工具箱提出并测试了特定的假设。在每种情况下,我们评估了全局网络架构和动力学对基于不同动物物种、不同尺度重建以及从不同成像模式获得的连接组信息的储层计算能力的影响。工具箱文档https://github.com/netneurolab/conn2res/tree/master/examples 中包含了重现这些结果的带注释的笔记本和脚本。

示例1:工具箱组件
       在第一个示例中,我们量化了不同类型的局部和全局动力学对人类共识连接组(根据弥散加权MRI数据重建,n = 66个受试者。数据来源:https://doi.org/10.5281/zenodo.2872624)。约束的回声状态网络在两项认知任务(感知决策和依赖上下文的决策)中表现的影响。为了选择输入节点和读出节点集,我们使用基于功能连接的连接组划分为内在网络。我们将输入节点定义为从视觉系统随机选择的一组脑区,对于读出节点,我们选择躯体运动系统中的所有脑区。局部动力学由储层单元的激活函数决定。这里我们使用sigmoid和双曲正切激活函数。全局网络动力学通过参数调节α来设置,α对应于连接矩阵的谱半径。如果α < 1,则认为储层的动力学是稳定的;如果α > 1,则认为是混沌的。当α ≈ 1时,据说动力学是临界的。因为这两项任务都可以视为监督分类问题,所以我们使用Ridge分类器模型来训练读出模块。我们为每项任务生成1000次试验(70%训练,30%测试),并使用50个不同的任务标记数据集实现对每项任务进行执行。在50个任务数据集实例中报告了性能分数的分布。

      接下来,我们引导使用者完成conn2res主管道的每个步骤,并使用plotting.py模块中包含的可视化工具来描述每个阶段的主要输出,从而促进对工作流程的概念理解。有关实际实现的详细信息,请参阅conn2res工具箱的examples文件夹。感知决策任务和依赖上下文的决策任务的结果分别显示在图4的左列和右列中。图4顶部面板由一个图组成,显示了在任务数据集获取过程中获得的输入(xi)和目标标签(y)的时间序列。感知决策任务是一项双选择强制选择任务,其中储层必须能够整合两个刺激以决定哪一个平均值较高(图4左列)。在依赖上下文的决策任务中,储层必须根据每次试验中的上下文线索执行两种不同的感知辨别之一(图4右列)。试验用垂直的黑色虚线分隔。

图4 工具包组件

      感知决策(左列):这是一个双选择强制选择任务(y = {1, 2}),储层必须能够整合两个刺激(x2和x3;x1作为偏差)以决定哪一个平均值更高。依赖上下文的决策任务(右列):在此任务中,储层必须执行两种不同的感知辨别之一(y = {1, 2}),由每次试验中的上下文线索指示(由x1到x7决定)。

     从上到下:第一个面板显示了在任务数据集获取步骤中获得的输入(xi)和目标(y)信号的时间序列。第二个面板展示了将基于连接组的连接矩阵分配给储层网络的工具表示(中心)。它还显示了为分析选择的输入(左)和读出(右)节点集35。第三个面板显示了模拟储层的动力学;顶部图显示了输入信号的时间序列,底部图显示了储层内读出节点的同时激活状态(此处显示的结果对应于以双曲正切为激活函数的模拟储层状态)。第四个面板说明了在训练期间在读出模块中发生的学习过程。在每个时间步,顶部图显示输入信号,中间图显示读出模块中分类器的决策函数,底部图显示预测信号与目标信号。最后,第五个面板显示了性能曲线作为局部(双曲正切为粉色,sigmoid为绿色)和全局(改变连接矩阵的谱半径α)网络动力学的函数。使用两个指标来衡量分类的性能:平衡准确度(顶部)和F1分数(底部)。实线表示在任务数据集的500次迭代中的平均性能,阴影区域对应于95%置信区间。

       图4中从上到下的第二个面板是一个简化示意图,展示了如何将基于连接组的连接矩阵应用于储层网络(中心);它还显示了在模拟储层动力学期间用于将外部输入信号引入储层的输入节点(左侧的蓝色节点),以及在学习阶段用于从储层中提取信息的读出节点(右侧的紫色节点)。图4中的第三个面板描绘了储层动力学的模拟,它由两个图组成:顶部图显示了输入信号(x)的时间序列,而底部图显示了每个时间步的储层同时激活状态。这些图有助于用户可视化储层状态如何随外部输入而演变。图4中的第四个面板涉及训练期间读出模块的学习过程。该面板包含三个图:输入信号的时间序列(顶部)、Ridge分类器的决策函数(中间)以及预测与真实目标信号(底部)。最后,图4中的第五个面板展示了储层性能如何受到局部和全局网络动力学的影响。该面板显示了两个图,每个图对应一个不同的分类性能指标:平衡准确率(顶部)和F1分数(底部)。每个图显示了两条曲线,表明性能如何随α变化,每条曲线对应一个不同的激活函数:双曲正切(粉红色)和sigmoid(绿色)。

      图4中的结果表明,局部和全局网络动力学都会影响任务性能。在局部层面,与sigmoid相比,两项任务都受益于使用双曲正切激活函数。然而,任务性能对全局网络动力学的依赖性因任务而异。在感知决策任务中,必须根据两个过去刺激的时间整合做出选择,这意味着需要时间记忆。由于稳定性强化了储层中的记忆,感知决策任务所需的计算应该利用稳定的网络动力学。这确实是这样:如果局部非线性是双曲正切,从稳定(α < 1)到混沌(α > 1)动力学可以观察到性能下降(图4左列底部面板中的粉红色线)。然而,如果局部非线性是sigmoid,储层不会表现出对全局网络动力学的强烈依赖性(图4左列底部面板中的绿色线)。相比之下,在依赖上下文的决策任务中,必须进行二元感知辨别,因此储层必须学会区分两个时间模式。由于混沌动力学有助于储层的可分离性,因此混沌的存在应该会提高该任务的性能。这可以通过观察到,随着全局网络动力学从稳定过渡到混沌,性能增加(图4右列底部面板中的粉红色和绿色线)。尽管这种情况在两种类型的局部非线性(即双曲正切和sigmoid)中都观察到,但双曲正切类型的影响更强。正如预期的那样,局部和全局网络动力学对任务性能的影响取决于手头任务所需的计算类型。

      这个简化示例帮助我们说明了conn2res工具箱在网络架构、局部和全局网络动力学、计算特性和性能指标方面的灵活性。尽管conn2res工具箱设计用于更具探索性的实验类型,但我们期望,随着成像技术的改进以及我们对生物大脑解剖结构的理解,可以使用conn2res进行更多假设驱动的实验。

示例2:应用
      在教程的第二部分中,我们展示了如何应用该工具箱来解决三个特定的生物学问题。首先,我们量化了使用弥散加权MRI重建的人类白质连接组的记忆容量(n = 66;84)。在这里,我们使用皮层下区域作为输入节点,使用皮层区域作为读出节点。然后,我们询问记忆容量是否特别依赖于大脑的拓扑组织,而不是密度或度序列等低级特征。为了解决这个问题,我们比较了群组层面的经验连接组的记忆容量与500个随机重连的空连接组的记忆容量,这些空连接组保留了密度和度序列。图5a显示,在临界点(α = 1),经验脑网络的记忆容量显著大于重连的空网络,这表明人脑的拓扑结构赋予了计算功能。

图4 应用示例

a 全局网络组织的推断:基于人类共识连接组(n = 66名受试者;弥散加权MRI)构建了一个储层,用于执行记忆容量任务。皮层下区域被用作输入节点,而皮层区域被用作读出节点。(左)在所有情况下---面板(a-c)---,全局动力学被调整为从稳定(α < 1)过渡到混沌(α > 1),其中α对应于连接矩阵的谱半径。(右)将经验网络的性能与500个保留网络密度和度序列的重连空网络的性能进行了比较。在临界点(αcrit = 1),经验网络的性能显著优于重连的空网络(p = 0.002)。

b 解剖学推断:实施了一个由单个受试者水平连接组信息构建的储层,用于执行感知决策任务(实线表示跨500次任务数据集迭代的平均性能;阴影区域对应于95%置信区间)。(右)皮层区域根据它们所属的内在网络进行分层。视觉网络中的脑区被用作输入节点;其余内在网络各自被用作独立的读出模块,以量化任务性能。(左)在广泛的α值范围内(α > 0.5),所有内在网络显示出显著不同的行为(单因素方差分析F = 1143.50,在αcrit = 1时p < 0.002),因此表明这些网络之间存在功能专业化。

c 跨物种比较:我们实施了四个不同的储层,每个储层由不同模式生物的连接组信息构建:果蝇、小鼠、大鼠和猕猴。(左)连接组信息构建的储层被训练以执行记忆容量任务。感觉区域被用作输入节点,而运动区域被用作读出节点。与(a)中一样,将经验网络与500个重连空网络进行了比较87。在峰值记忆容量时,除果蝇外,生物学信息构建的连接组性能显著优于重连的空网络(果蝇:在αpeak = 0.9时p = 0.11,小鼠:在αpeak = 1.05时p < 0.002,大鼠:在αpeak = 1.15时p < 0.002,猕猴:在αpeak = 1.15时p < 0.002)。

      在前面的示例中,我们专注于全局计算能力,并表明它与全局网络拓扑结构相关。对于第二个示例,我们演示了如何使用该工具箱对区域异质性或计算能力的特异性进行推断。为了解决这个问题,我们在单个受试者水平的、连接组信息构建的储层上实施感知决策任务。我们根据皮层节点与典型内在网络的关联对其进行分层。具体而言,我们使用视觉网络中的脑区作为输入节点,将其余网络各自独立作为读出模块,以量化任务性能。图5b显示,根据选择哪个网络作为读出模块,性能存在明显差异。有趣的是,性能最高的两个模块是默认模式网络和躯体运动网络,这与感知决策涉及感觉输入的整合、与内部目标的比较以及适当运动响应的形成这一概念一致。总的来说,这些结果演示了如何使用基于连接组的储层计算来推断解剖学上限定的神经回路的计算能力。

     对于最后一个示例,我们展示了如何将该工具箱应用于研究者寻求比较网络的比较问题。在这个示例中,我们实施了从四个不同物种重建的连接组:果蝇、小鼠、大鼠和猕猴。与第一个示例一样,我们将每个经验连接组的记忆容量与500个重连空网络的总体进行比较。图5c显示,尽管在脑容量、连接组分辨率和重建技术方面存在差异,四个模式生物连接组显示出对动力学的相似依赖性。重要的是,与人类连接组一样,除果蝇外,经验连接组的峰值记忆容量显著大于重连的空网络,这表明这一原则可能普遍存在于神经系统中。

讨论
      尽管有着共同的根源,现代神经科学和人工智能已走上了不同的道路。高分辨率连接组学的出现和近年来人工神经网络的令人难以置信的进步为这些充满活力和快节奏的领域的融合提供了全新而激动人心的机会。在这里,我们简要总结了RC范式的原理,并介绍了conn2res,这是一个开源代码计划,旨在促进思想的交叉融合,并连接多个学科,包括神经科学、心理学、工程学、人工智能、物理学和动力系统。下面我们展望未来,并提出conn2res工具箱如何解决这些领域中出现的问题。

       conn2res工具箱体现了RC范式本身的多功能性。通过允许任意网络架构和动力学叠加在储层上,conn2res可以应用于研究广泛的神经科学问题:从理解结构和功能之间的联系,研究行为的个体差异,到探索网络扰动(如疾病或刺激)的功能后果,或特定架构特征(如层次结构和模块)的计算优势。conn2res工具箱可以容纳不同空间尺度(从微回路到大尺度脑网络)和使用不同成像模态(如示踪或弥散MRI)获得的网络重建。也可以在工具箱中实施在发育和进化的不同时间点重建的网络,例如,研究个体发生和系统发生过程中的结构适应如何塑造脑网络的计算能力。总的来说,conn2res为发现计算和功能专门化如何从大脑的解剖网络结构中涌现提供了新的和众多的可能性。

      RC范式也可以被调整用于联合研究网络连接和空间嵌入对计算的影响。也就是说,大脑中连接的放置受到许多材料、能量和空间限制的影响,这一因素在专注于网络拓扑结构的经典范式中经常被忽视。目前,conn2res工具箱中包含的模型没有明确考虑空间嵌入,但它们可以很容易地进行调整。一种方法是引入与区域间连接长度或沿皮层表面的测地线距离成比例的传导延迟。另一种有趣且略有不同的方法是最近引入的空间嵌入递归神经网络(seRNNs)的概念。这些是具有自适应权重的递归网络,局限在三维欧几里得空间内,其学习受到生物学优化过程的限制,如最小化布线成本或优化区域间可交流性,除了最大化计算性能。当网络的剪枝由这些生物学优化原则引导时,产生的网络架构表现出生物学脑网络的特征,如具有小世界拓扑结构的模块化结构,以及空间共定位并实现能量有效的混合选择性编码的功能专门化区域的出现。更广泛地说,通常在这些模型中研究的皮层是嵌入在永久变化的环境中的中枢神经系统更广泛网络的一部分。RC范式可以适应这种大脑的"具身"观点。具体而言,RC模型可以包括自适应的内稳机制,调节大脑-环境反馈回路,以确保储层保持在所需的动力学状态,如临界状态。

      RC通常被视为训练RNN的统一框架,但更广泛地说,它是一个通用框架,用于利用高维非线性动力系统进行计算,而无需考虑储层的选择!由于任何具有非线性动力学的高维物理系统都可以作为储层——在自然和人造系统中,这些都很丰富——一个新的应用研究领域已经出现:物理储层计算。这里的目标是利用复杂物理系统的丰富动力学作为信息处理设备。用于储层的物理基质相当多样化:从模拟电路、现场可编程门阵列、光子/光电子器件、自旋电子学、量子动力学、纳米材料、生物材料和类器官、机械和机器人,到液体或流体,最近还有折纸结构。物理储层系统的发展伴随着更高效和有效的RC框架的进步,例如通过包括时间延迟。随着物理储层计算变得越来越流行,我们设想使用conn2res作为工作台来探索网络交互对物理储层计算特性的影响。为此,conn2res目前配备了一个专用的物理储层类,允许将忆阻器网络(神经形态计算的一种有前景的替代方案122)实现为储层。从这个意义上说,该范式和conn2res工具箱可以应用于相邻科学学科中的各种问题。从神经连接组学的角度来看,conn2res为发现生物脑网络中结构和功能如何链接提供了新的和众多的可能性。从人工智能的角度来看,对生物网络进行逆向工程将为重新设计人工、受大脑启发的RC架构和系统提供见解和新的设计原则。

      总之,conn2res是一个易于使用的工具箱,允许将生物神经网络实现为人工神经网络。通过结合连接组学和AI,RC范式允许我们在各种描述尺度和许多相邻领域中解决新的问题。我们希望通过将功能重新概念化为计算,conn2res允许我们朝着理解脑网络中的结构-功能关系迈出下一步。