当前位置: article > 正文

人形机器人报告：GTC 大会&Figure：“具身智能”奇点已至

作者：我家小花儿 | 2024-05-05 22:25:05

踩

今天分享的是人形机器人系列深度研究报告：《人形机器人专题：GTC 大会&Figure：“具身智能”奇点已至》。

（报告出品方：广发证券）

英伟达机器人平台，具身智能的加速器

从感知、训练到算力端全方位覆盖。（1）感知层：Issac Perceptor & Issac Manipulator。前者是视觉 AI 的硬件加速软件包，用于感知、定位，具备多摄像头及 3D 环试功能；后者提供强大的基础模型和 GPU 加速库。路径规划提供高达 80 倍的加速，以及实现零样本感知（英伟达官网）。（2）训练层（强化学习）：Issac SIM in Omniverse，机器人模拟工具包，虚拟物理世界。人形机器人学习如何适应物理世界。（3）算力：GTC 大会上新推出 Jetson Thor Soc 芯片，专为人形机器人打造，提供 800 Tflops 的 FP8 算力， 100GB 以太网带宽。

GTC 大会上英伟达正式官宣通用机器人 GR00T 项目

由 GR00T 驱动的机器人，可以接受文本、语音、视频甚至通过观察人类行为等多模态来理解自然语言和模拟动作，快速学习以适应并和现实世界互动。视频中展示傅利叶 GR1 机器人已经具备互动能力。

人形合作厂商：

视频中看英伟达将多个品牌的人形机器人放在同一个实验室进行训练培训。根据现场投影，合作的人形厂商包括 Figure、宇树、Apptronik（阿波罗）、Agility、Sanctuary AI (Pheonix)、1x、傅里叶、波士顿动力、小鹏 px5。（英伟达官网）

Figure 01 率先导入 VLM 大模型+基础运控算法，人形机器人是 AI 的最佳载体

和 Open AI 合作后，接入 VLM 大模型的 Figure01 展现出逻辑思考及学习能力，具备处理多个任务能力和自主判断能力，同时展示出惊人的实时性和互动性（来源：Figure 官方社交媒体）。当前一体化大模型 VLA 的准确性较低，且存在实时性问题，因此短期内商业化的最佳方案仍然是 VLM 大模型+基础运控算法的结合。

英伟达推出多项人形机器人专用技术

人形机器人或为下一代机器人技术，英伟达已拥有其必要的技术。根据英伟达官网有关GTC的报道，黄仁勋在GTC大会上表示由于现实世界是为了人类而创造且存在更多的模仿训练数据可提供给人形机器人，因此人形机器人将比其他类型的机器人产生更有效的部署，下一代机器人技术很可能是人形机器人。目前英伟达已拥有人形机器人的开发和发展必要的技术，其包含GR00T基础模型、基于Omniverse的 ISAAC实验室和GR00T堆栈。

英伟达宣布推出GR00T人形机器人基础模型。根据英伟达官网，GR00T旨在为通用人形机器人构建基础模型，GR00T模型将多模态指令和过去的互动作为输入并产生机器人下一个动作，之后机器人将动作执行后的环境信息观察反馈至GR00T进行下一次循环。由GR00T驱动的机器人将被设计为通过观察人类行为来来理解自然语言和模拟动作，快速学习以适应并和现实世界互动。视频中展示傅利叶GR1机器人已经具备互动能力。

英伟达推出人形机器人智能专用计算平台Jetson Thor。根据英伟达官网，Jetson Thor能够执行复杂的任务并与人和机器安全自然地交互。它采用模块化架构，针对性能、功耗和尺寸进行了优化。该Soc芯片包括基于NVIDIA Blackwell架构的下一代GPU，带有 transformer引擎专为人形机器人打造，能提供800 Tflops的FP8算力，100GB以太网带宽。

Isaac Lab构建虚拟环境，加速人形机器人学习。根据英伟达官网，为了加速人形机器人的学习，英伟达开发了基于Omniverse技术的Isaac Lab，能实现物理精确的世界模拟。人形机器人可以在Isaac Lab的模拟环境中使用深度强化学习，并在虚拟环境中反复训练以学习技能。

OSMO实现云原生机器人工作流程调度。根据英伟达官网，OSMO 是一个云原生工作流编排平台，可以轻松地从本地到私有云和公有云资源集群扩展工作负载，从而实现DGX和OVX系统的无缝协调，进而实现高效和迭代的模型开发。一旦模型准备好进行测试和验证，OSMO 就可以在OVX上以独特的方式编排软件在环工作流程，以及使用 NVIDIA Jetson计算资源的硬件在环工作流程。