模仿学习的集中爆发：从Dobb·E、Gello到斯坦福Mobile ALOHA/UMI、FMB、DexCap_voxposer

前言

前几天，斯坦福的炒虾机器人火爆全网，让包括我在内的所有人目瞪口呆，我在朋友圈评论道：

• 多模态 + 大模型 + AI agent可以全方位赋能机器人
  一年前我决心彻底写清楚ChatGPT原理
  一年前，因为对ChatGPT背后技术原理巨大的「好奇心」，加之极高的「分享热情」、以及想写一篇关于其原理最全面 最深入 最细致文章的「决心」，彻底改变了过去一年的轨迹
  ​最后，博客证明了技术研究能力，课程证明了教学教研能力，项目证明了带队开发能力
  
  一年后的今天，我下定决心准备彻底研究下机器人
• 刚好今年q1本身要做一个AI agent小项目，希望q2起，有机会做这个机器人agent大项目，如能和某高校实验室或资本合作更好

说干就干

• 一方面，我组建了一个大模型机器人小组(作为我司的第4项目组)，准备复现斯坦福这个炒虾机器人
• 二方面，我准备把大模型机器人的发展史以及其中涉及到的所有关键技术细节，全部都梳理一下(毕竟新闻稿只能看个大概，但想精准理解，必须结合一系列论文理解)

总之，不要看一篇新闻稿觉得很行，再看一篇 又觉得不行了，不要人云亦云 被新闻稿带节奏(比如，虽然其有些动作是被远程操控完成的，但还是有很多动作是其自主完成，比如对于一些简单的任务，Mobile ALOHA可以在50次学习之后达到90%的行动成功率)

第一部分 纽约大学：Dobb·E——把机器人带回家

1.1 Dobb·E：基于预训练模型和微调的行为克隆

在这项工作中，纽约大学一研究团队通过引入Dobb-E(这是其论文：On Bringing Robots Home，Submitted on 27 Nov 2023)，提出了家庭教学机器人的框架，其只需五分钟就能学会一项新任务，这要归功于用廉价零件和iphone制作的示范收集工具，具体来说，Dobb-E的关键组件包括：

• 硬件方面，主要使用了一种名为“棒”的演示收集工具(如下图A所示，相当于数据收集工具，然后可以在机器人上使用类似的设置，如下图C所示，最终机器人本身通过模仿人类的操作实现行为克隆，如下图D所示)，该工具结合了3D打印组件和iPhone的可负担伸展抓取器。此外，将iPhone安装在机器人上，以便实现从棒直接传输数据，无需进行域适配
  Hardware: The primary interface is our demonstration collection tool, termed the "Stick." It combines an affordable reacher-grabber with 3D printed components and an iPhone. Additionally,an iPhone mount on the robot facilitates direct data transfer from the Stick without needing domain adaptation.

  

• 预训练数据集：使用棒工具收集了一个为期13小时的数据集，名为纽约只家(HoNY)，其中包含来自22个纽约家庭共216个环境的5620个演示。这些演示支持我们系统的适应性，并被用于Dobb-E预训练表示模型
  Pretraining Dataset: Leveraging the Stick, we amass a 13 hour dataset called Homes of NewYork (HoNY), comprising 5620 demonstrations from 216 environments in 22 New York homes,bolstering our system's adaptability. This dataset serves to pretrain representation models forDobb-E.
• 模型和算法：基于预训练数据集，我们成功构建了一种流线型视觉模型，即家庭预训练表示(HPR)，并采用先进的自监督学习(SSL)技术进行训练。对于新任务而言，仅需进行24次迭代调整即可微调该视觉模型，并结合视觉和深度信息来实现3D推理
  Models and algorithms: Given the pretraining dataset we train a streamlined vision model, called Home Pretrained Representations (HPR), employing cutting-edge self-supervised learning (SSL)techniques. For novel tasks, a mere 24 demonstrations sufficed to finetune this vision model,incorporating both visual and depth information to account for 3D reasoning.
• 集成：我们的整体系统，封装硬件，模型和算法，以商用移动机器人为中心:Hello Robot Stretch

最终让Dobb-E在10个家庭中进行了为期30天的实验，在此期间，它尝试了109个任务，并成功学习了102个任务，其表现为50%，总体成功率为81%。同时，发现

1. 简单方法的惊人效果：Dob-E采用了视觉模仿学习的简单行为克隆配方，利用ResNet模型[Deep residual learning for image recognition]进行视觉表示提取，并使用双层神经网络[The perceptron: a probabilistic model for information storage and organization in the brain，这竟然是1958年的一篇老论文，我是没想到的，^_^ ]进行动作预测
   Surprising effectiveness of simple methods: Dobb-E follows a simple behavior cloning recipefor visual imitation learning using a ResNet model [5] for visual representation extraction anda two-layer neural network [6] for action prediction
   平均而言，仅通过收集每个任务在5分钟内91秒的数据，Dob-E能够在家中实现81%的成功率
2. 有效SSL预训练对结果产生了影响：我们基于家庭数据训练的HPR基础视觉模型，在与其他基础视觉模型相比，在更大规模互联网数据集上训练时至少提高了23%任务成功率
   Impact of effective SSL pretraining: Our foundational vision model, HPR trained on home dataimproves tasks success rate by at least 23% compared to other foundational vision models [7-9],which were trained on much larger internet datasets
3. 里程计、深度和专业知识：Dob-E的成功在很大程度上依赖于操纵杆提供高度准确的里程计和iPhone姿态与位置感应动作，以及iPhone激光雷达所提供的深度信息。此外，收集演示数据的易用性也使得使用操纵杆进行迭代研究问题变得更加快速、便捷
   Odometry, depth, and expertise: The success of Dobb-E is heavily reliant on the Stick providinghighly accurate odometry and actions from the iPhones' pose and position sensing, and depthinformation from the iPhone's Lidar. Ease of collecting demonsrations also makes iterating onresearch problems with the Stick much faster and easier
4. 剩余挑战：机器人力量、范围和电池寿命等硬件限制限制了机器人可以解决物理任务的能力(详见第3.3.3节)，而该策略框架则受到模糊感知和更复杂临时扩展任务等因素影响

本质上，Dob-E是一个行为克隆框架[10]。而行为克隆是模仿学习的一种形式，通过观察和模仿人类或其他专家代理的行为来学习执行任务。行为克隆涉及训练模型以模仿演示的动作或行为，并通常使用标记的训练数据将观察映射到期望的动作

1. 在我们的方法中，我们首先对一个轻量级基础视觉模型进行预训练，在家庭演示数据集上进行实验
2. 然后在新家庭中给定新任务时，收集了一些演示并微调我们的模型以解决该任务

整个方法可以分为4个阶段：

1. 设计一个硬件设置，以便收集演示及其无缝转移到机器人身上
2. 在不同的家庭中使用该硬件设置收集数据
3. 对该数据上预训练基础模型(pretraining foundational models on this data)
4. 将经过训练的模型部署到家庭中

1.1.1 硬件设计

该系统并未要求用户移动整个机器人，而是利用一款价格便宜的25美元可伸缩末端执行器创建了一个“你好机器人”的复制品，并通过3D打印的iPhone支架进行增强，此外，iPhone Pro(版本12或更新)配备的摄像头设置和内部陀螺仪能够以每秒30帧的速度获取RGB图像、深度数据以及6D位置信息(包括平移和旋转)

使用已安装在iPhone上的Record3D来捕获演示数据，该应用程序能够保存

1. 从相机记录的1280×720像素的RGB数据
2. 激光雷达传感器记录的256×192像素的深度数据(注意，如paper第21页最后所说，adding depth perception to the model helps it perform much better than the model with RGB-only input)
   不过，最终模型训练时，上面这两块数据会被缩放到256×256像素
3. 以及iPhone内部的里程表(odometry)和陀螺仪记录的手柄运动(6D的平移和旋转数据)

然后以30 FPS速率将这些数据记录到手机中，并进行导出和处理

所有的系统都部署在Hello Robot Stretch上，这是一款单臂移动机械手机器人，已经可以在公开市场上购买。我们在所有实验中使用Stretch RE1版本，其灵巧的手腕附件赋予了机器人6D运动能力。它成本低廉、便携轻便(仅重51磅/23公斤)，并且可以通过电池供电长达两个小时。此外，Stretch RE1还配备了Intel NUC计算机，可以以30 Hz的频率运行学习策略

1.1.2 对预训练数据集(Pretraining Dataset)的大量收集

凭借上面的硬件设置，只需将手柄带回家，将iPhone连接到手柄上，并使用Record3D应用程序记录时进行任何演示者想要展示的操作，最终在一些志愿者的协助下收集了一个名为纽约之家(HoNY)的家庭任务数据集

1. 该数据集由22个不同家庭中志愿者共同创建，在总计13小时录制时间内包含5620个演示视频，总计近150万帧图像
2. 志愿者专注于八个广泛定义好的任务类别：开关按钮、开门、关门、抽屉打开、抽屉关闭、拣选和放置物品、手柄抓取以及游戏数据。对于游戏数据，我们要求志愿者记录他们使用手柄在家中进行任意活动时产生的相关数据。这种有趣行为过去已被证明对表示学习目标具有潜力[21, 24]
3. 指导志愿者花费约10分钟来记录他们所处环境或场景中每个演示视频。最初选择的演示任务是多样化且具有一定挑战性，但对机器人而言仍然可行

尽管iPhone可以提供末端执行器的姿态数据(the pose of the end-effector)，但无法直接获取夹持器本身的开启或关闭状态。为了解决这一问题，我们训练了一个模型来追踪夹持器尖端

1. 从数据集中选取了500个随机帧，并在这些帧上使用像素坐标标记了两个夹持器尖端的位置
2. 然后，利用该数据集对一个由三层ConvNet构成的夹持器模型进行训练，该模型试图将夹持器尖端之间的距离预测为0到1之间的标准化数值，该模型在heldout评估集上获得了0.035的MSE验证误差(以0-1尺度表示)
   We trained a gripper model on that dataset, which is a3-layer ConvNet that tries to predict the distance between the gripper tips as a normalized number between 0 and 1
   随后被用于标记数据集中其余帧中夹持器的值(介于0到1之间)

1.1.3 Policy Learning with Home Pretrained Representations

拥有多样化的家庭数据集之后，下一步的任务是训练一个基础的视觉模仿模型，以便在家中进行轻松地修改和部署。他们的策略由两个简单组件构成：一个视觉编码器和一个策略头

• ResNet34足够小，可以在机器人的机载计算机上运行
  使用MoCo-v3自监督学习算法在我们收集的数据集上对视觉编码器进行60个epochs的预训练，称这个模型为家庭预训练表示(HPR)模型，部署的所有策略都是基于这个模型训练的
  We pretrainour visual encoder on our collected dataset with the MoCo-v3 self-supervised learning algorithm for60 epochs. We call this model the Home Pretrained Representation (HPR) model, based on which allof our deployed policies are trained.
  且比较了使用我们自己的视觉编码器与在不同数据集和算法上训练的视觉编码器(如R3M [8]、VC1 [9]和MVP [7])甚至只是在ImageNet-1K [59]上进行预训练后效果之间 的差异
  We compare the effects of using our own visual encoder vs. apretrained visual encoder trained on different datasets and algorithms, such as R3M [8], VC1 [9], andMVP [7], or even only pretraining on ImageNet-1K [59], in Section 3.4.1.
• 下游策略学习方面，在每个新任务中，根据所捕获到深度值和视觉编码器进行简单操纵策略学习。该策略输入空间为256×256像素大小RGB-D图像(4通道)，输出空间为一个7维向量，其中前三个维度表示相对平移，接下来三个维度表示相对旋转(轴角表示)，最后一个维度表示夹持器值范围介于0到1之间
  Downstream Policy Learning On every new task, we learn a simple manipulation policy based onour visual encoder and the captured depth values. For the policy, the input space is an RGB-D image(4 channels) with shape 256×256 pixels, and the output space is a 7-dimensional vector, where thefirst 3 dimensions are relative translations, next 3 dimensions are relative rotations (in axis anglerepresentation), and the final dimension is a gripper value between 0 and 1.

  

  具体而言，我们设计了一个简单结构用于实现该策略：首先应用于RGB通道的图像表达模型，并通过中位池化操作应用于深度通道；然后经过两层全连接层将512 维图像表达和512 维深度值投影到7 维动作空间
  Our policy is learned topredict an action at 3.75 Hz, since that is the frequency with which we subsample our trajectories. The policy architecture simply consists of our visual representation model applied to the RGB channelsin parallel to a median-pooling applied on the depth channel, followed by two fully connected layersthat project the 512 dimensional image representation and 512 dimensional depth values down to 7dimensional actions.

在监督训练期间, 网络从观察到动作映射进行学习, 并未冻结任何参数, 学习速率设置为 3×10^−5 进行50次迭代更新(During this supervised training period where the network learns to map fromobservation to actions, we do not freeze any of the parameters, and train them for 50 epochs with alearning rate of 3×10 −5)

网络采用均方误差(MSE)损失函数进行训练，在计算损失之前将每个轴上动作标准化为零均值和单位标准差 (We train our network with a mean-squared error (MSE) loss, and normalizethe actions per axis to have zero mean and unit standard deviation before calculating the loss)

1.1.4 部署到一个新的家庭

为了解决新任务，首先简要收集一些任务示范。通常会收集24个新示范作为经验数据，对于简单的5秒任务来说这是足够的。在实际操作中，收集这些示范大约需要5分钟时间。然而，在某些环境下重置所需时间更长，在这种情况下，收集示范可能需要更多时间

1. 为了使机器人策略具备一定的空间泛化能力，我们通常从任务设置前各种位置开始收集数据，并且通常在一个小型4×6或5×5网格中进行
   
2. 一旦数据收集完成，将R3D文件中的数据转换为数据集格式需要约5分钟。接着，在GPU RTX A4000上进行50次训练平均需时约20分钟。因此，从开始数据收集到获得可在机器人上部署的策略，平均时间为30分钟
3. 然后使用安装在手臂上的iPhone和Record3D应用程序，通过USB将RGB-D图像流传输到机器人计算机上。为了获得预测动作，我们对输入图像和深度进行处理。利用基于PyKDL的逆运动学求解器，在机器人末端执行器上执行预测的相对动作
   We use the iPhone mounted on the arm and the Record3D app to stream RGB-Dimages via USB to the robot computer. We run our policy on the input images and depth to get the predicted action. We use a PyKDL based inverse kinematics solver to execute the predicted relative action on the robot end-effector.
   
   由于模型预测摄像头帧中的运动，我们在机器人URDF中添加了一个关节来连接额外摄像头，从而可以直接执行预测动作，无需精确计算从摄像头帧到机器人末端执行器帧之间的转换
   Since the model predicts the motion in the camera frame, we addeda joint in the robot’s URDF for the attached camera, and so we can directly execute the predicted action without exactly calculating the transform from the camera frame to the robot end-effectorframe
   
   对于夹持关闭操作，采用二进制方式根据任务变化应用阈值来预测夹持状态。通过接收观察并命令机器人执行策略预测的动作，并等待其完成以接收下一个观察，在机器人上同步运行策略
   For the gripper closing, we binarize the predicted gripper value by applying a threshold that can vary between tasks. We run the policy synchronously on the robot by taking in an observation,commanding the robot to execute the policy-predicted action, and waiting until robot completes theaction to take in the next observation.
4. 针对评估实验，通常每个任务会使用10个不同初始起始位置(如上图b所示)，这些起始位置改变了机械臂夹持装置垂直和水平方向上的初始位置。在这10次试验之间，我们会手动重置机械臂和环境
   For our evaluation experiments we generally use 10 initialstarting positions for each robot task (Figure 9 (b)). These starting positions vary our robot gripper’s starting position in the vertical and horizontal directions. Between each of these 10 trials, we manuallyreset the robot and the environment.

第二部分 Berkeley Gello

// 待更

第三部分  斯坦福机器人Mobile ALOHA：炒菜、家务全活了

4.1 Mobile ALOHA与其前身ALOHA

4.1.1 Mobile ALOHA：通过示范数据做行为克隆，更结合前身ALOHA的静态数据做协同训练

在机器人技术领域，通过对人类示范进行模仿学习已经取得了令人瞩目的成绩。然而，目前大多数研究结果都集中在桌面操作上，缺乏完成一般任务的移动性和灵活性

近日，斯坦福一研究团队(Zipeng Fu、Tony Z. Zhao、Chelsea Finn)开发了一个系统：Mobile ALOHA

• 项目地址(可总览所有重要信息)：https://mobile-aloha.github.io/
• 论文地址：Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body Teleoperation
• 硬件代码：hardware code之mobile-aloha
• 软件代码：learning code之act-plus-plus，本质就是ACT(关于什么是ACT，详见下节)

  

• 数据地址：public_mobile_aloha_datasets
• 硬件安装指南：https://www.wpsshop.cn/w/AllinToyou/article/detail/517723