跳到正文
原文
NVIDIA Blog· Sasa Docca·· 8 天前

NVIDIA在CoRL发布GR00T 2开源世界动作模型及Isaac Lab 3.0等机器人仿真技术

Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation

SI 导读

NVIDIA在CoRL发布GR00T 2开源世界动作模型与Isaac Lab 3.0等机器人仿真训练技术。GR00T 2仅凭每任务一次演示在50项任务中平均成功率达71%,Isaac Lab 3.0集成Newton物理引擎将训练吞吐提升至Isaac Lab 2.3的2.5倍。这些开源进展旨在助力机器人从实验室演示走向工业部署。

精选SI 评分62
推荐理由

NVIDIA在CoRL开源GR00T 2与Isaac Lab 3.0,研究者可借此在仿真里训练机器人精密操纵能力。

正文 · SI 翻译

模拟长期以来一直是机器人学习行走、翻滚和跳跃的试验场,如今它正在帮助研究人员教授机器人需要更精细操作的任务:对齐齿轮、连接电缆以及组装小型部件。 

从运动到操作的转变在本周于德克萨斯州奥斯汀举行的机器人学习会议(CoRL)上成为焦点,与此同时,代理式机器人(agentic robotics)正在兴起——这是一种新范式,将前沿代理整合以创建用于物理机器人系统的可解释代码。

在 CoRL 上,NVIDIA 正在推出新的开放机器人技术,包括世界动作模型、模拟工具、基准测试和代理式工作流。 

NVIDIA 的两篇论文从数千份投稿中脱颖而出,成为 CoRL 最佳论文奖的六篇入围作品之一: 

  • GRAIL(从世界模型生成人形机器人运动-操作),提出了一种用于机器人学习的 3D 资产和模拟器就绪场景的数字生成流水线。
  • RoboTTT: Context Scaling for Robot Policies,介绍了一种机器人模型和训练配方,在不增加推理延迟的情况下,将视觉运动上下文扩展至比最先进策略高三个数量级。

这些进步帮助研究人员在复杂任务上训练机器人,在变化的条件下评估其性能,并利用失败来指导进一步学习——从而构建从实验室演示到工业部署所需的精度、适应性和自主性。 

NVIDIA 正在与Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics 和华盛顿大学 等合作伙伴合作,将这些进步带给更广泛的机器人社区。  

世界动作模型实现下一层级的机器人自主性

下一层级的机器人自主性要求机器人感知周围环境,预判其行动将如何改变环境,并以高精度执行复杂的多步骤任务。世界动作模型正是实现了这一点。

在 CoRL 上,NVIDIA 正在推出GR00T 2,一个基于 NVIDIA Cosmos 构建的开放前沿世界动作模型。该模型在多样化的机器人和人类数据上训练,包括 100,000 小时的NVIDIA 开源人类第一人称数据,使机器人能够学习灵巧的操作技能。主要特性包括:

  • 开箱即用的性能: 在没有任务特定演示的情况下,至少完成 50 个评估任务中的 40 个。
  • 技能迁移: 从人类演示中学习,并在没有机器人演示的情况下在不同机器人本体之间迁移技能
  • 小数据泛化: 仅使用每个任务一个演示,在 50 个任务中实现了 71% 的平均成功率;使用五个演示时,成功率提升至 95%。
  • 智能体控制: AI 智能体可以使用 GR00T 2 的应用程序编程接口(API)和支持工具,按顺序运行技能并从错误中恢复。

GR00T 2 目前在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 基准测试的所有视觉语言动作模型和世界动作模型类别中均位列前三,并在多个排行榜上获胜。  

Nexuni 正在测试其用于机器人洗衣处理,Foxconn 正在将 GR00T 2 应用于服务器制造的工厂自动化,Siemens 正在评估其在工业用例中的应用。

MicroAGI 正在使用通过强化学习进行后训练的 GR00T 2,利用 YAM 机械臂执行以太网电缆更换。其智能体机器人方法使用 Isaac Lab 3.0 和 Newton 自动化模拟环境的创建和校准,策略在其中进行训练。

训练具备能力的机器人需要多样化数据。NVIDIA 的开放工作流和模型为研究人员提供了更好的数据收集和标注工具:

  • 对于构建机器人训练数据集的研究人员,NVIDIA 新的开放 Video to Data 工作流将人类视频转化为模拟机器人演示,并有一个挑战邀请研究人员推动其发展。
  • NVIDIA EgoHand 开放模型 — 正在 CoRL 上进行演示,自发布以来两周内在 Hugging Face 上下载量超过 40,000 次 — 重建 3D 手部运动,使用来自 Noitom Robotics 的数据进行训练。

训练和扩展发生在哪里 — 在模拟中

预训练模型为机器人提供一组核心技能。模拟让研究人员能够在部署到物理机器人之前,大规模训练、优化和评估技能。 

NVIDIA Isaac Lab,一个开源机器人学习框架,为这项工作提供了基础。其最新版本Isaac Lab 3.0,允许研究人员使用智能体快速设置带有模拟就绪资产的训练环境,在NVIDIA PhysX和Newton 物理求解器之间切换,为基于感知的训练选择渲染器,并将新的强化学习后训练库应用于 GR00T 等基础模型。

精确的物理对于将学到的技能从模拟转移到真实机器人至关重要。与Newton(一个开源物理引擎)的更紧密集成,现在允许 Isaac Lab 模拟电缆和布料等可变形物体,以及具有许多相互作用关节的复杂铰接系统,如机器人手。 

与 Newton 的集成模拟了草莓在机器人抓握下的变形。

Isaac Lab 和 Newton 相结合,将精确的物理模拟与规模化能力融为一体,使研究人员能够并行训练数千个模拟机器人。在基于视觉的灵巧操作基准测试中,搭载 Newton 的 Isaac Lab 3.0 的训练吞吐量最高可达搭载 PhysX 的 Isaac Lab 2.3 的 2.5 倍。

Isaac Lab 支持使用 Newton 和 NVIDIA PhysX 进行机器人模拟。

开发者正在扩展 Newton 的功能。在 CoRL 大会上,Skild AI 发布了 STEEL(面向具身学习的可扩展吞吐量优化引擎),这是一款基于 Newton 构建的新型刚体物理求解器,旨在加速使用 Isaac Lab 进行的机器人训练。

Skild AI 的 STEEL 求解器。

Flexion 展示了如何利用 Isaac Lab 和 Newton 训练其机器人智能模型 Reflect,该模型结合了推理能力和全身操作能力。 

Flexion 使用 Newton 配合 Isaac Lab 进行强化学习。

FieldAI 正在使用 Newton——以及基于 NVIDIA Omniverse 库构建的 Isaac Lab 和 Isaac Sim——来训练和验证机器人策略,以便在结构化的真实世界环境中部署。 Dyna Robotics 将演示如何利用 Isaac Lab 中的并行模拟来训练其 半人形机器人 Taku 的全身控制器,用于仓库、酒店和餐饮服务领域的工作。

Walden Robotics 正在利用 Isaac Sim 的逼真渲染功能,在虚拟环境中训练和评估其通用机器人,以应用于制造业和物流业;同时,Dexmate 正在探索编码智能体如何在 Isaac Sim 中排练和优化操作策略,然后再将其执行到其 Vega 机器人上。 

AlphaNIST 在 Isaac Lab 中构建,展示了高效练习如何转化为精确性。单一策略在 NIST 装配任务板上学会了所有 20 项任务,仅使用“是”或“否”的成功信号来操作毫米级零件。与针对每项任务的独立策略(成功率 81%)相比,它实现了超过 98% 的训练成功率,且使用的 GPU 时间减少了约 39 倍。

AlphaNIST 使用 Isaac Lab 在 NIST 装配任务板上训练单一机器人策略,覆盖 20 项精密任务。 

这些成果背后是成功引导采样(SGS),由华盛顿大学和 NVIDIA 提出。该方法将练习重点放在策略成功率约为 50% 的任务上,将训练引导至其仍在学习的技能上。借助 SGS,机器人训练可以扩展到超过一百万个并行环境。 

德克萨斯大学奥斯汀分校计算学院和 Texas Robotics 使用 Isaac Sim 和 Isaac Lab 在模拟中训练机器人技能,让学生能够在物理硬件可用之前开始开发。

用于机器人评估的新工业基准

学习一项技能是一个挑战,在变化的条件下可靠地执行它则是另一个挑战。 

NVIDIA Isaac Lab-Arena,一个用于大规模策略评估的开源框架,使开发者能够构建多样化且可重复的评估,并在数千种变体上并行运行策略。分析结果揭示了导致失败的条件,让研究人员知道在下次训练运行中需要修复什么。其最新版本 0.4 的开发者预览版将在 CoRL 上发布。 

DexBench 和 VABAR 是两个新的开源基准,是首批旨在利用 Isaac Lab-Arena 和 Newton 衡量机器人在工业任务中的灵巧性和适应性的基准之一。

DexBench,由 RLWRLD 与 NVIDIA 合作开发,将灵巧性评估从桌面场景扩展到真实世界的工作流程。它基于 NVIDIA Isaac Lab-Arena 构建,包含跨越零售、物流、制造和酒店业的四个场景中的 15 项任务,测试在物体、空间和物理变化中的泛化能力。 

Genesis AI、mimic robotics 和其他行业合作伙伴正在通过早期访问评估 DexBench。

团队可以在 Manifold 上运行 DexBench,Bifrost 的 机器人仿真扩展评估平台,无需设置,内置失败分析,并为初始评估提供免费额度。 

VABAR——用于智能体机器人的变分自动化基准——来自 UC Berkeley 和 NVIDIA,评估机器人在六项工业任务中的表现。每项任务都包含标准化的变体、难度等级和成功指标。 

模拟的工具分类任务展示了 VABAR 如何评估机器人在工业工作流程中的操作技能。

智能体将技能转化为机器人程序

成功完成任务需要机器人协调多种技能,并在出现问题时进行适应。为这些多步骤任务构建可靠的程序仍然是一个挑战。

智能体机器人有助于解决这一挑战。

UC Berkeley 的 新的 Graph-as-Policy (GaP) 框架使用智能体将单个技能连接成机器人程序。智能体使用 NVIDIA Isaac 开放仿真技术测试这些程序,并根据失败情况进行优化。这有助于研究人员在减少数据的同时扩展开发,并保持程序的可解释性,以便工程师在部署前进行审查和验证。

GaP 利用智能体和仿真将单个机器人技能转化为协调动作,例如擦拭吧台。

“对我来说,智能体机器人是自 1995 年互联网以来最令人兴奋的技术发展,”UC Berkeley 机器人学教授、VABAR 和 GaP 项目的主要负责人 Ken Goldberg 说。

Ambi Robotics 正在探索 GaP 用于工业自动化。

Ambi Robotics、Bosch Research 和 Siemens 都在探索 GaP 用于其跨多种工业场景的智能体机器人工作流程。

加入 NVIDIA at CoRL 以了解更多信息。

来源:NVIDIA Blog · blogs.nvidia.com

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有