Mobile ALOHA：低成本遥操作双臂移动机器人_mobile aloha: learning bimanual mobile manipulatio

这篇文章的标题是《Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation》，作者是Zipeng Fu、Tony Z. Zhao和Chelsea Finn，来自斯坦福大学。

一、主要贡献

Mobile ALOHA是一个低成本的移动操作系统，该系统支持双手操作和全身遥操作。系统总成本为32,000美元，包括机载电源和计算能力。

文章中提到了通过模仿学习从人类演示中获取的机器人性能表现，但大多数结果集中在桌面操作上，缺乏执行通用任务所需的移动性和灵活性。本文开发了一个系统，用于模仿需要双手和全身控制的移动操作任务。它通过移动基座和全身遥操作界面扩展了ALOHA系统。使用Mobile ALOHA收集的数据，然后进行监督行为克隆，并发现与现有的静态ALOHA数据集共同训练可以提高移动操作任务的性能。通过为每项任务提供50个演示，共同训练可以将成功率提高至90%，使Mobile ALOHA能够自主完成复杂的移动操作任务，如炒虾和上菜、打开双门墙柜以存放重型烹饪锅具、呼叫并进入电梯，以及使用厨房水龙头轻轻冲洗使用过的平底锅。

文章还讨论了移动操作系统的设计考虑因素，包括移动性、稳定性、全身遥操作和无束缚。

文章还提到了通过与静态ALOHA数据共同训练来提高性能的方法，以及使用不同的模仿学习方法（包括ACT、Diffusion Policy和VINN）在Mobile ALOHA上的应用。此外，还进行了用户研究，评估了Mobile ALOHA遥操作的有效性，特别是评估参与者学习操作未见过任务的速度。

二、硬件配置

选择了AgileX Tracer AGV作为移动基座，并设计了一个全身遥操作系统，允许同时控制基座和两个手臂。为了使移动操作器无束缚，在基座上放置了一个1.26千瓦时的电池，重量为14公斤，它也作为平衡重量以避免翻倒。

所有数据收集和推理计算都在配备Nvidia 3070 Ti GPU（8GB VRAM）和Intel i7-12800H的消费级笔记本电脑上进行。

笔记本电脑接受来自三个Logitech C922x RGB网络摄像头的流媒体，分辨率为480x640，频率为50Hz。两个摄像头安装在跟随机器人的手腕上，第三个面向前方。笔记本电脑还通过USB串行端口接受所有4个手臂的本体感知流，并通过CAN总线接受Tracer移动基座的流媒体。记录移动基座的线性和角速度，以用作学习策略的行动。同时记录所有4个机器人手臂的关节位置，用作策略的观察和行动。更多关于手臂的细节可以参考原始的ALOHA论文。

三、模型训练

1. 数据收集：Mobile ALOHA系统通过全身遥操作界面收集数据，这包括基座的速度数据和手臂操纵数据。这些数据被记录以形成一个全身遥操作系统。

2. 数据格式：在模仿学习部分，文章提到了将ALOHA的14个自由度关节位置与移动基座的线性和角速度结合起来，形成一个16维的动作向量。这种形式使得Mobile ALOHA能够直接从以前的深度模仿学习算法中受益，几乎不需要改变实现。

3. 训练输入：对于移动操作策略的训练，输入包括两个手腕摄像头的RGB观察值、安装在两个手臂之间的顶向摄像头的RGB观察值，以及手臂的关节位置。输出则是基于这些观察值的动作向量。

4. 训练目标：训练目标是最小化模仿损失函数，其中包含了从Mobile ALOHA数据集中采样的观察值和动作，以及从静态ALOHA数据集中采样的观察值和零填充的动作标签。

5. 共同训练：文章中还提到了使用共同训练（co-training）的方法，结合了Mobile ALOHA数据集（针对特定任务的数据）和静态ALOHA数据集（不包含移动基座动作的数据）。这种共同训练的方法提高了移动操作策略的性能和数据效率。

6. 动作块：所有检查的方法都采用了“动作块”（action chunking），即策略预测一系列未来动作而不是每个时间步一个动作。这提高了生成轨迹的连贯性，并减少了由于每步策略推断而产生的延迟。

7. 数据集的多样性：文章还讨论了使用不同的数据集混合比例进行共同训练的鲁棒性，发现性能对不同的数据混合比例不敏感，这减少了在新任务上引入共同训练时的手动调整需求。