【论文研读】MARLlib 的架构分析

【论文研读】MARLlib: A Scalable Multi-agent Reinforcement Learning Library

和尚念经

多智能体强化学习框架研究。
多智能体强化学习库。
多智能体强化学习算法实现。
多智能体强化学习环境的统一化，标准化。
多智能体强化学习算法解析。
多智能体强化学习 算法性能比较。

3. MARLlib Architecture

在本节中，我们将主要阐述MARLlib如何解决两个主要挑战，即MARL算法的多样性和环境接口的不一致性。为了克服这些挑战，我们开发了一个新的代理级分布式数据流、一个统一的代理环境接口和一个有效的策略映射机制。其他特性，如框架可扩展性、特定于任务的技巧和文档可以在附录中找到。

3.1 agent级的分布式数据流，方便算法的统一

集中式训练分散执行(CTDE)是解决多智能体问题的常用框架，其中智能体维护自己的策略进行独立执行和优化，在训练阶段利用集中式信息协调智能体的更新方向。在这个框架下，现有的库将整个学习管道分为两个阶段:数据采样和模型优化。在模型优化阶段，数据采样阶段的所有数据都是可用的，使训练集中。然而，这样，选择合适的数据和使用这些数据来优化模型是在同一阶段耦合的。因此，扩展算法以适应其他任务模式(例如合作和竞争)变得更具挑战性，并且需要重新设计整个学习管道。

MARLlib 通过将原始分组数据流等效地分解为代理级分布式数据流来解决这个问题。本质上，在样本采集和优化过程中，它将多智能体训练中的每个智能体作为一个独立的单元，但在后处理阶段，智能体之间共享集中的信息(后处理是在模型优化之前处理采样数据的RLlib API;我们丰富它以适应不同的算法)，以确保等价。在后处理中，代理与其他代理共享观察数据(从环境中采样的数据)和预测数据(策略或Q值所采取的操作)。所有代理都维护各自的数据缓冲区，其中存储了它们的经验和其他代理共享的必要信息。进入学习阶段后，agent之间不需要信息共享，可以独立进行自我优化。通过这种方式，我们将原始组合的数据流分发给代理，并将数据共享和优化完全解耦，从而允许相同的实现解决多种模式的任务。

如何实现解耦的呢？
在后处理阶段，处理采样数据，用代理级分布式数据流的方式。具体而言，所有代理都维护各自的数据缓冲区，其中存储了它们的经验和其他代理共享的必要信息。
1
2

此外，虽然所有基于ctde的算法通常共享相似的代理级数据流，但它们仍然具有独特的数据处理逻辑。受EPyMARL[26]的启发，我们进一步将算法分为独立学习、集中批评和价值分解三类，以实现模块共享和可扩展性。总结如下（精华！！！）：

1. 独立学习算法让智能体独立学习;
2. 集中式评价算法利用共享信息对评价者进行优化，进而指导分散行为者的优化;
3. 价值分解算法学习一个联合的价值函数，并将其分解成单个的价值函数，然后代理在执行过程中使用它来选择动作。

根据它们的算法特性，我们在后处理阶段实现了合适的数据共享策略，如下面的图2所示。