NVIDIA 发布 Project GR00T 人形机器人基础模型和 Isaac 机器人平台重大更新_isaac manipulator
赞
踩
系列文章目录
前言
Isaac 机器人平台现可为开发者提供全新的机器人训练仿真器、Jetson Thor 机器人计算机、生成式 AI 基础模型和由 CUDA 加速的感知和操作库。
Project GR00T 是一种多模态人形机器人通用基础模型，作为机器人的大脑，使它们能够学习技能来解决各种任务。
美国加利福尼亚州圣何塞 —— GTC —— 太平洋时间 2024 年 3 月 18 日 —— NVIDIA 于今日发布人形机器人通用基础模型 Project GR00T，旨在进一步推动其在机器人和具身智能方面的突破。
NVIDIA 还发布了一款基于 NVIDIA Thor 系统级芯片（SoC）的新型人形机器人计算机 Jetson Thor，并对 NVIDIA Isaac™ 机器人平台进行了重大升级，包括生成式 AI 基础模型和仿真工具，以及 AI 工作流基础设施。
NVIDIA 创始人兼首席执行官黄仁勋表示：“开发通用人形机器人基础模型是当今 AI 领域中最令人兴奋的课题之一。世界各地的机器人技术领导者正在汇集各种赋能技术，致力于在人工通用机器人领域实现突破。”
GR00T 驱动的机器人（代表通用机器人 00 技术）将能够理解自然语言，并通过观察人类行为来模仿动作——快速学习协调、灵活性和其它技能，以便导航、适应现实世界并与之互动。在 GTC 大会的主题演讲中，NVIDIA 创始人兼首席执行官黄仁勋展示了数台这样的机器人是如何完成各种任务的。
专为人形机器人打造
Jetson Thor 是一个全新的计算平台，能够执行复杂的任务并安全、自然地与人和机器交互，具有针对性能、功耗和尺寸优化的模块化架构。
该 SoC 包括一个带有 transformer engine 的下一代 GPU，其采用 NVIDIA Blackwell 架构，可提供每秒 800 万亿次8位浮点运算 AI 性能，以运行 GR00T 等多模态生成式 AI 模型。凭借集成的功能安全处理器、高性能 CPU 集群和 100GB 以太网带宽，大大简化了设计和集成工作。
NVIDIA 正在为领先的人形机器人公司开发一个综合的 AI 平台，如 1X Technologies、Agility Robotics、Apptronik、波士顿动力公司、Figure AI、傅利叶智能、Sanctuary AI、宇树科技和小鹏鹏行等。
Agility Robotics 联合创始人兼首席机器人官 Jonathan Hurst 表示：“我们正处于历史的转折点，像 Digit 这样以人为中心的机器人将永远改变劳动力市场。现代 AI 将加速发展，为 Digit 这样的机器人铺平道路，在日常生活的各个方面帮助人类。我们很高兴能与 NVIDIA 合作，投资于计算、仿真工具、机器学习环境和其他必要的基础设施，让机器人真正融入人们的日常生活。”
Sanctuary AI 联合创始人兼首席执行官 Geordie Rose 表示：“具身智能不仅有助于解决人类面临的一些最大挑战，还将创造目前超出我们能力范围或想象的创新。如此重要的技术不应该建立在孤岛之上，这就是为什么我们非常重视像 NVIDIA 这样的长期合作伙伴。”
Isaac 平台的重大更新
GR00T 使用的 Isaac 工具还能够为在任何环境中的任何机器人创建新的基础模型。这些工具包括用于强化学习的 Isaac Lab 和用于计算编排服务的 OSMO。
训练具身智能模型需要海量的真实数据和合成数据。新的 Isaac Lab 是一个 GPU 加速、性能优化的轻量级应用，基于 Isaac Sim 而构建，专门用于运行数千个用于机器人学习的并行仿真。
为了扩展异构计算的机器人开发工作负载，OSMO 在分布式环境中协调数据生成、模型训练和软硬件在环工作流。
NVIDIA 还发布了 Isaac Manipulator 和 Isaac Perceptor 等一系列机器人预训练模型、库和参考硬件。
Isaac Manipulator 为机械臂提供了卓越的灵活性和模块化 AI 功能，并提供了一系列强大的基础模型和 GPU 加速库。它提供了高达 80 倍的路径规划加速，零样本感知提高了效率和吞吐量，使开发者能够实现更多新的机器人任务的自动化。早期生态系统合作伙伴包括安川电机、泰瑞达旗下子公司优傲、PickNik Robotics、Solomon、READY Robotics 和 Franka Robotics。
Isaac Perceptor 提供了多摄像头和 3D 环绕视觉功能，这些功能正越来越多地被制造业和物流业中的自主移动机器人所采用，以提高效率和更好地保护工人，同时降低错误率和成本。早期采用者包括 ArcBest、比亚迪和凯傲集团等，它们的目标是为物料搬运等操作带来新的自主化水平。
新的 Isaac 平台功能将在下个季度推出。了解有关 Project GR00T 的更多信息。
英伟达项目 GR00T
通用机器人 00 技术
GR00T 是一种通用基础模型，有望改变仿真和现实世界中的人形机器人学习。经过英伟达™（NVIDIA®）GPU加速仿真训练，GR00T能够让人形机器人通过模仿学习和英伟达™（NVIDIA®）Isaac实验室进行强化学习，并从视频数据中生成机器人动作。GR00T 模型将多模态指令和过去的互动作为输入，并生成机器人要执行的动作。
请在下方注册，以获得有关 GR00T 项目可用性的通知。
GR00T Model Training Workflow
机器人学习和扩展开发工作负载
我们开发了 NVIDIA Isaac Lab 来大规模训练 GR00T，并构建了 NVIDIA OSMO，这是一种计算协调服务，可在用于训练的 NVIDIA DGX 系统、用于仿真的 NVIDIA OVX 系统以及用于硬件在环验证的 NVIDIA IGX 和 NVIDIA AGX 系统之间协调训练和推理工作流。
Robot Learning and Orchestration Setup
英伟达™（NVIDIA®）Isaac Manipulator
Isaac Manipulator 是一系列基础模型和模块化 GPU 加速库，通过加速人工智能模型训练和任务（重新）编程，帮助为动态操纵任务构建可扩展、可重复的工作流程。它将彻底改变机器人软件开发人员如何利用定制软件组件完成特定任务的方式，如机器护理、装配任务等，使操纵臂能够无缝感知周围环境并与之互动。
在下方注册，即可获得开发人员预览版的通知。
Generic manipulation workflow
Isaac Manipulator simplified end-to-end workflow.
为机器人增添新的智能
Isaac Manipulator 为机械臂带来了新的灵巧性和模块化人工智能功能，这些机械臂在处理复杂任务和动态环境时受到限制，因为它们的适应性有限，而且每遇到新情况都要手动重新执行任务。
高精度和高性能模块
访问一系列先进的模块化软件包，用于无摩擦运动学、人工智能感知、工业机械臂的操纵以及即时创建端到端工作流程。
加速机器人运动生成
带有 MoveIt 扩展功能的 NVIDIA cuMotion 可让您实现自定义算法模块，而无需大量流水线开销。
更快的开发时间
预训练基础模型可估算和跟踪物体姿势、预测理想抓取点、运行机械臂轨迹优化等，从而加快机器人任务的实施。
英伟达™（NVIDIA®）Isaac 感知器
NVIDIA Isaac™ Perceptor 是一套用于视觉人工智能的硬件加速软件包，专为自主移动机器人 (AMR) 量身定制，用于在非结构化环境中进行感知、定位和稳健操作。机器人软件开发人员现在可以轻松获得基于人工智能的整套感知能力，确保在复杂场景中可靠运行和障碍物检测。
请在下方注册，以获得有关 Isaac Perceptor 上市的通知。
主要优势
由于仓库操作和工厂生产线固有的多变性，AMR 环境带来了独特的挑战。这些挑战包括特定任务的复杂性，如装载和卸载。人工智能（AI）可通过基于 ROS 2 的 Isaac Perceptor 提供的先进 3D 感知能力来解决这些复杂问题。 这种组合可确保最佳性能和模块化，满足您的特定需求。
针对移动机器人进行全面优化
英伟达™（NVIDIA®）解决方案专为自主叉车和各种工业移动机器人定制。它们配备了强大的视觉里程计和 3D 环绕视觉，可用于障碍物检测和占用地图绘制。
可扩展传感器架构
利用业内首个可扩展架构，可安装 1 到 8 个摄像头，并在所有摄像头和惯性测量单元 (IMU) 之间实现时间同步。
部署就绪
Isaac Perceptor预集成了经过广泛测试的移动机器人子图，确保与现有软件栈和机器人无缝集成。
Nova Orin 开发套件
这款功能强大的计算和传感器平台旨在帮助机器人原始设备制造商和软件公司加快 AMR 的开发和部署。主要功能包括
精确的多传感器时间同步，传感器数据采集时间小于 100us
用于在机器人上进行评估的文档和软件
传感器参考模型（在 NVIDIA Isaac Sim™ 中），用于仿真开发
新星卡特
这款先进的参考机器人已组装完毕，可与 Isaac Perceptor 一起使用。它包括一个英伟达™（NVIDIA）Jetson AGX Orin™系统模块，计算能力高达275 TOPS，并使用激光雷达和一组立体摄像头进行环绕感知、绘图和导航。该机器人经过校准和测试，开箱即可使用，为您提供了宝贵的时间来创新新特性和新功能。
Nova Carter非常适合收集数据，用于绘制仓库或工厂等测试区域的地图。处理后的数据可以部署到卡特中，以实现完全自主。
