机器人成了我的遛弯搭子！室外复杂地形难不住，还能上“健身房”跑两步

西风 一水 发自 凹非寺
量子位 | 公众号 QbitAI

别光只看Figure 02了，国产机器人最新成果曝光，大秀肌肉！

就在北京亦庄，竟有这么一家人形机器人“健身房”。

这里的机器人率先实现在跑步机上训练，一小时能跑6km的那种：

而这只是热身，跑完还要爬楼梯：

到了室外，机器人专用道也安排上了，30度高温下不能停：

时不时还要来点草坪、斜坡等复杂地形上难度：

它就是今年四月份在国内首发的纯电驱全尺寸人形机器人天工，由北京具身智能机器人创新中心研发。

刚问世那会儿，天工主打的还是拟人奔跑，短短几个月，本事又长了不少。

除了上面所展示的在跑步机上奔跑、户外复杂地形行走，天工现在还加持了大模型，可中英文对话，还能听从人类指令抓取物品。

最近，2024世界机器人大会就要举办了，量子位提前打听到，整合“不只”这些能力，进化版“天工”将在大会上亮相。

而且到时候天工会换“马甲”，装上手，还会升级大关节。

关于进化版天工的能力，我们和其运动控制负责人郭宜劼聊了聊。

全身42个自由度，大模型加持

升级后的天工功能参数一览如下：

和之前相比如下表，身高163cm，体重由原来的43kg增加到了56kg。

全身自由度增加到了42个，相比之前单只手臂自由度由3个增加到7个，颈部也增加了3个自由度。

△初代天工功能参数

此前天工“没有手”，这次也装上了。单只手重达600g，具有6个自由度，触觉传感器精度在0.3N以内，单指的抓握力大于1kg。

而且天工还配备了四个全场景双目结构光3D相机、高精度六维力传感器，可实现360度环境感知。

通过对环境的感知，天工能适应复杂地形，在草地、沙地、丘陵、碎石里移动，应对30cm的地形差也不是问题。

奔跑起来稳定性也提升了，速度可达6km/h。

除此外，天工的另一大升级是搭载了大模型，具备了多模态操作能力。

现在能开口说话和人类交互，支持中英文。

还能听从人类指令抓取物品：

而这些只是其中的一部分，世界机器人大会上还会有更多展示和惊喜。

天工首秀那会儿，主打拟人奔跑单项能力。从目前的进化版来看，结合了感知交互，可以说，天工已经初步形成了具身智能体形态。

研究具身智能规划决策和任务执行，也正是天工背后团队目前的关注重点。

打造具身智能体

以具身智能为基础，目前在技术实现上，研究团队重点提升了天工的视觉感知能力。

之前天工行走是“盲视”状态，需要用脚掌对地面进行试探，而现在基于视觉感知，面对较大地形差，天工可以通过提前预测做出抬高腿等动作来应对。

具体方法上，团队基于强化学习，自研了运动技能学习方法——基于状态记忆的预测型强化模仿学习。

此前量子位也有介绍，该方法融合了传统方法平稳性高的优点，以及强化学习泛化性强、不依赖环境的优点。

既解决了强化学习带来的定位精度差的问题，又解决了模型预测控制方法当中对于非结构化环境适应性差的问题。

天工运动控制负责人郭宜劼也向量子位透露，之前团队在训练时发现，一些网络在实际运行过程中可能会很容易受传感器漂移的干扰，有时会表现出姿态的不稳定等情况，由此提出了这种方法。

初代天工发布后，团队在接下来的几个月的训练中，为天工加入了更多的历史状态记忆，使其能够对当前的自身状态和环境地形进行估计，从而有更好的泛化效果。

郭宜劼还表示，目前具身智能要解决的是“Action”任务规划执行这方面的问题。

无论从任务种类还是复杂度上来说，让它能够覆盖人类日常工作生活中大部分的任务。它能干的活种类变多，大脑再去配合起来就能够实现更复杂、更长线的任务。

‍对于实现复杂任务规划，他分享了几条技术路线：

像是特斯拉机器人，主要采用的是收集数据，然后用数据进行监督学习，针对比较单一固定的场景训练机器人自动执行。这种方法虽收效比较快，但泛化能力差一些。

还有一种是在仿真环境中进行强化学习训练，主要依赖的是在一个环境中进行不断地试错，自我学习。这种方法遇到的主要问题是，怎样从仿真环境迁移到真实的物理场景中。从感知层面到和具体的物理交互，仿真和真实场景都有很大的差别。

另外一种方法是直接用大模型输出一些任务点，然后用传统的运动规划去执行这些任务。

而天工研发团队的方案是将不同的方法融合，下一步要打造出一个元技能库：

现在这个阶段我觉得是要扩大机器人的技能库……包括这几种方法在内，每一种方法都可以用来解决不同的任务场景。所以说技能库里每种技能可能是使用不同的方式来实现的。

解决国内机器人“共性”问题

再来说说天工背后公司，量子位此前也有介绍过。

北京具身智能机器人创新中心（下称创新中心），原名北京人形机器人创新中心，去年11月成立，由小米机器人、优必选、京城机电、亦庄机器人等联合组建。

他们瞄准的是解决具身智能机器人的关键共性问题，避免国内机器人行业重复简单造轮子的过程。

创新中心聚集了一批顶尖科学家和工程师，还牵头成立了创新中心专家委员会和北京人形机器人产业联盟。

创新中心专家委员会由中国科学院院士乔红担任主任，通用研究院院长朱松纯、智源研究院理事长黄铁军、信通院总工程师魏然担任副主任。

今年四月份，创新中心推出了“天工”通用机器人母平台，即具身智能硬件开源平台。

“天工”平台可实现灵活扩展软、硬件等功能模块，提供了一系列开放接口，科研机构及机器人相关企业可基于“天工”母平台软硬件功能进行二次开发。

当时他们就预告了将着眼于依靠大模型驱动，探索通用具身智能平台。而现在多能具身智能体母平台“开物”，也逐渐浮出水面，正紧锣密鼓研发中。

“开物”平台着眼于具身智能大模型及框架，聚焦多模态的关键法、具身智能仿真应用建设及工具链整套体系建设。

围绕“开物”，团队正在打造大规模具身智能数据集，用来支撑超70亿参数视觉语言多模态大模型训练调优，实现机器人中文互动、开放问答、场景视觉理解、具身操作等能力。

计划是，在2025年底前发布200万条高质量数据。

话说回来，最近人形机器人领域有不少新进展传出。

优必选透露人形机器人已在极氪工厂打工；特斯拉官图显示Optimus已进厂挑拣电池；OpenAI加持的机器人Figure 02，进驻宝马打工……

虽然“天工”和它们不是一个赛道，主要是解决具身智能的共性问题，但……也没能逃过搬砖的命运。

据了解，它正初步在一些场景中进行数据采集试训，比如重复性比较高、枯燥乏味的搬运分拣物品，在危险场景如矿井、工地进行巡检、搜救……

2024世界机器人大会马上将于8月21日在北京经济技术开发区开幕，期待进化版“天工”的家人们可以码住了，听说创新中心会有一个精彩的展位，可以看到“天工”机器人家族的集体亮相，还会办一个分论坛~

One More Thing

为啥要让机器人在跑步机上跑？大伙儿猜猜看（doge）。

答：除了对平衡性要求更高外，跑步机速度可控，能够比较准确客观测试；机器人跑步实验需要占用比‍较大的场地，跑步机省地方啊。

— 完 —

量子位年度AI主题策划正在征集中！

欢迎投稿专题 一千零一个AI应用，365行AI落地方案

或与我们分享你在寻找的AI产品，或发现的AI新动向

点这里