深度进化强化学习第一弹~_deep evolutionary reinforcement learning

hello，这是鑫鑫鑫的论文分享站，今天分享的文章是Embodied Intelligence via Learning and Evolution
，这是一篇李飞飞等提出深度进化RL，我们一起看看吧~

背景介绍：随着强化学习，深度学习的发展，深度强化学习也在逐步发展，最近，李飞飞和其他几名学者提出了一个新的计算框架——深度进化强化学习——Deep Evolutionary Reinforcement Learning (DERL)，基于该框架，具身智能体可以在多个复杂环境中执行多个任务。

深度学习： 是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
强化学习： 又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。
深度强化学习： 深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。
深度进化强化学习： Deep Evolutionary Reinforcement Learning (DERL)，基于该框架，具身智能体可以在多个复杂环境中执行多个任务。

摘要：

复杂环境生态位中相互交织的学习和进化过程导致了形态形式的显著多样性。 此外，动物智力的许多方面都深深地体现在这些进化的形态中。 然而，控制环境复杂性、进化形态和智能控制可学习性之间关系的原则仍然难以捉摸，部分原因是在进化和学习的硅实验中进行大规模的挑战。 我们介绍了深度进化强化学习(DERL)： 一种新的计算框架，它可以进化出不同的智能体形态，只使用低水平的自我中心感觉信息来学习复杂环境中具有挑战性的运动和操作任务。 利用DERL，我们展示了环境复杂性、形态智能和控制的可学习性之间的几种关系。 首先，环境复杂性促进了形态智能的进化，这是通过形态学促进学习新任务的能力来量化的。其次，进化迅速选择学习得更快的形态，从而使在早期祖先生命后期学习的行为能够在其后代生命早期表现出来。在在复杂环境中学习和进化的智能体中，这个结果构成了一个长期推测的形态学鲍德温效应的第一次证明。第三，我们的实验为鲍德温效应和形态智能的进化提供了基础，这些形态更物理稳定和节能，因此可以促进学习和控制。

1.介绍

在过去的6亿年里，从一种古老的双层蠕虫开始，进化产生了各种各样的“最美丽的无穷无尽的形式”，并最终形成了一套不同的动物形态。 此外，这些动物通过利用它们进化的形态来学习复杂的任务，表现出显著程度的体现智能。 事实上，具体化认知领域认为，智能行为可以由其形态很好地适应其环境的代理人快速学习，相反，人工智能(AI)的领域主要集中在无实体认知上，例如在语言、视觉或游戏等领域。 创建具有良好适应形态的人工具体化智能体，能够在不同的、复杂的环境中学习控制任务，这是具有挑战性的，因为以下两个困难：（1)通过组合大量可能的形态进行搜索；(2）通过终身学习评估适应度所需的计算时间。 因此，先前的工作要么是在严重有限的形态学搜索空间中进化出智能体，要么是专注于在给定固定手设计的形态学的情况下寻找最优参数。 此外，评估适应度的困难迫使先前的工作：（1）避免直接从原始感官观察中学习自适应控制器；（2)学习很少(≤100)参数的手设计控制器9-11；(3)学习预测形态学的适应度；(4）通过直接传递跨代的学习信息来模拟拉马克而不是达尔文进化论。 此外，以前的工作也主要限于在平坦地形上移动的简单任务，其中的智能体agent具有很少的自由度(DoF)或由长方体组成的身体计划，以进一步简化学习控制器的问题。
为了克服这些实质性的限制，我们提出了深度进化强化学习(DERL)，(如图1），

一个计算框架，使我们能够同时扩展跨三个复杂轴（环境、形态和控制）的具体化智能体的创建。 DERL打开了在硅实验中进行大规模实验的大门࿰