英伟达GR00T 2全栈开源

DexUMI成为灵巧操作数据关键入口

 

美国时间11月9日,英伟达科学家Jim Fan在CoRL现场发布GR00T 2并公布全栈开源计划,主题定为「机器人的夏天」。他指出,GPT-6 Astra并非带来颠覆:Astra(System 2)负责理解与规划,GR00T 2世界-动作模型WAM(System 1)负责快速执行,System 2越强,越需要高质量的System 1,系统瓶颈进一步转向物理世界。

 

图注:英伟达科学家Jim Fan在现场播放划火柴演示时解说:“接下来是我最喜欢的部分。你看,这个扭转动作多自然。遥操作是做不出来这样的灵巧操作的。因为DexUMI外骨骼的机械结构与机器人手紧密对应,我们可以直接捕捉人类灵巧操作中的这些细微动作。”

 

而System 1的能力提升离不开高质量数据。GR00T 2正将机器人基础模型的能力边界从夹爪操作拓展至五指灵巧操作:在制作香蕉酸奶、舀取麦片、划火柴点灯三项复杂任务中,GR00T 2分别实现60%、80%和75%的完整任务成功率,而GR00T 1.7与π0.5在相同实验条件下均未能完整完成任务,展现了新一代模型在灵巧操作上的显著突破。

 

这一突破也凸显了高质量灵巧操作数据的重要性。GEAR DexUMI通过人手直接示范,采集传统遥操作难以获取的细微灵巧动作及力觉、接触信息,成为五指灵巧操作后训练的关键数据入口。

 

英伟达GEAR团队联合负责人、得克萨斯大学奥斯汀分校副教授Yuke Zhu也在社交媒体上重点分享了GR00T 2的跨本体技能迁移能力(X-Adapt)。他表示,这是此次发布中最令他兴奋的能力:仅由人类徒手或借助可穿戴设备示范的技能,即可迁移至从未练习过该任务的机器人。

 

图注:英伟达GEAR团队联合负责人Yuke Zhu分享GR00T 2的X-Adapt研究成果,展示从GEAR DexUMI人类示范到搭载星动XHAND 1 Pro-U的机器人自主操作

 

在其分享的早餐制作实验中,操作者佩戴GEAR团队以星动XHAND 1 Pro-U五指灵巧手为原型映射的数采外骨骼进行示范,GR00T 2仅使用这类无需机器人参与采集的人类示范数据进行后训练,并在搭载两只星动XHAND 1 Pro-U五指灵巧手的机器人上实现自主执行。

 

从制作早餐到划火柴,GEAR DexUMI、GR00T 2、星动XHAND 1 Pro-U展示了从人类灵巧操作示范、模型后训练到机器人真机执行的完整链路,实现了行业首次从无本体数采到基础模型后训练、真机执行五指灵巧操作的全链路打通。

 

作为GEAR DexUMI外骨骼设计选型映射的目标手,也是其官配五指灵巧手——星动XHAND 1 Pro-U,现面向全球科研团队与具身智能开发者限量发售,仅40只,售完即止。

 

点击文末“阅读原文”链接
获取星动XHAND 1 Pro-U产品信息及URDF模型

星动XHAND 1 Pro-U助力GR00T 2

首次以DexUMI示范数据后训练

贯通灵巧操作真机全链路

 

GEAR DexUMI是英伟达在GR00T 2生态中打造的数采外骨骼,星动XHAND 1 Pro-U为其唯一官配构型:人佩戴它直接示范,数采端与执行端均采用星动XHAND 1 Pro-U的机械构型;所采数据用于GR00T 2五指灵巧操作任务的后训练,再由搭载一双星动XHAND 1 Pro-U的真机执行,完成三项真实任务:制作香蕉酸奶、舀取麦片,以及划火柴、点灯并在水中熄灭。后训练仅使用DexUMI示范数据,既无需目标任务遥操作,也不依赖额外机器人演示数据。

本次实践首次贯通“DexUMI人类示范采集—GR00T 2五指任务后训练—双臂星动XHAND 1 Pro-U真机部署”的完整链路,实现高自由度五指灵巧操作从数据采集、模型学习到真机执行的闭环验证。

 

图注:GEAR DexUMI采集—GR00T 2后训练—星动XHAND 1 Pro-U真机部署全链路示意

 

图注:GEAR DexUMI人类示范与星动XHAND 1 Pro-U真机自主执行对照

 

  • 任务1 制作香蕉酸奶:涵盖取刀、切香蕉、开盖、加入香蕉块等连续步骤,完整任务成功率60%;

视频:任务1制作香蕉酸奶,星动XHAND 1 Pro-U真机自主执行

 

  • 任务2 舀取麦片:涵盖麦片罐双手交接、旋盖、刮勺舀取等操作,完整任务成功率80%;

     

视频:任务2舀取格兰诺拉麦片,从人类示范到真机执行

 

  • 任务3 划火柴、点灯并在水中熄灭:涵盖细小火柴抓取、双手配合、高速划燃、点灯、入水熄灭等动作,完整任务成功率75%。

     

视频:任务3划火柴、点灯并在水中熄灭,星动XHAND 1 Pro-U真机自主执行。

 

三项任务覆盖工具使用、软物体操作、双手协同、长时程与动态接触,综合验证了星动XHAND 1 Pro-U的真机执行能力,也证明其可承接前沿模型技能落地。

DexUMI以人手直采替代遥操作

实现更高效、更高质、更低成本的数采

 

三项任务的难点都在物理接触:切香蕉、旋盖、双手交接、划火柴看似日常,实则都是复杂的接触过程。

切香蕉涉及下压时的切割阻力,以及软物体的形变与断裂;

 

旋盖要求多指持续接触,在摩擦、阻力与旋转力矩间维持平衡;双手交接则需协调负载转移的时机与作用力;

 

划火柴取决于高速运动下的瞬间摩擦、接触压力与动作时机,稍有偏差即可能划燃失败甚至折断。

 

因此,机器人要学的不只是“手移到哪里”,更是接触何时建立、力量如何变化、手指怎样协同,以及物体状态如何随动作改变。

传统遥操作虽有数据与执行本体天然一致的优势,但操作者隔着接口只能间接判断接触、难以感知阻力与滑移,且全程占用目标机器人;在高速、多接触、长时程任务中,采集高质量示范的难度显著上升。

因此,真正难以高效迁移的,不是动作的轨迹,而是动作背后的物理接触经验。

作为一类数据采集范式,DexUMI提供了另一种思路:人佩戴外骨骼直接操作真实物体,在保留自然触觉的同时,记录与目标灵巧手对应的关节状态、指尖力及接触信息用于训练。相比遥操作,采集不占用目标机器人,单人即可连续、并行产出高质量示范,周期更短,设备与人力成本更低。

与遥操作相比,DexUMI带来的不仅是效率与成本的量变,更是能力上从0到1的突破:操作者以自然动作和原生速度直接操控真实物体;外骨骼无需机器人在场,即可在真实、非结构化场景(in the wild)原位采集,获得遥操作受接口与固定工位所限、难以产生的高速自然示范。

 

 

DexUMI的核心价值是为后训练提供高保真、低本体差异且包含力觉等接触信息的灵巧手示范数据,让GR00T 2能够直接从贴近目标本体的人类示范中学习高自由度灵巧操作。

这一价值在力觉上尤为直接:GR00T 2不仅从示范中学“手怎么动”,还从指尖力记录中学“该用多大的力”,并把接触力映射为关节力矩,执行时通过调整关节刚度与位置目标实现柔顺控制,胜任切香蕉、拧瓶盖、划火柴这类既依赖接触力、又对位置误差敏感的任务。

因此,DexUMI补足的不仅是数据数量,更是传统机器人数据难以覆盖的操作深度与接触细节。

数据处理上,GEAR DexUMI将绿色外骨骼区域的分割与外观随机化直接纳入GR00T 2训练流程,无需逐条擦除修复,进一步缩短采集到训练的链路。

这一方法并非首次提出:2025年,英伟达、星动纪元等机构参与的早期DexUMI研究已在星动XHAND 1上完成用镊子夹取茶叶、关闭炉灶旋钮、移动锅具、取盐撒盐等厨房长时程操作,验证了精细接触、多指协同、触觉感知与长时程任务能力。(【哥伦比亚、斯坦福、摩根大通、卡耐基梅隆、英伟达】DexUMI:灵巧手跟人学采茶做早餐,CoRL2025提名最佳论文)

 

图注:DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

 

从行业数据路线看,第一视角(egocentric)人类视频与UMI类数据承担不同角色:前者规模大、主要支撑模型泛化与预训练,但缺少机器人本体与力觉对应;后者由人手直接采集、本体对应精度高且包含力觉信息,可直接用于后训练。随着单纯扩大第一视角数据规模的边际收益递减,UMI类高保真操作数据正重新受到重视,GR00T 2的跨本体技能迁移能力X-Adapt已将这一思路纳入模型架构,与行业从模型能力竞赛转向真机部署落地的重心同频。

GEAR DexUMI与星动XHAND 1 Pro-U,正引领这一数据范式变化的探索。

 

GR00T 2 DexUMI唯一官配:

高自由度五指灵巧手

星动XHAND 1 Pro-U

 

这条路径成立的前提在于数据端:人类动作必须能在执行端被机器人理解和复现。数采端与执行端越同构,迁移损耗越低——关键不仅在记下动作,更在让数据贴近目标机器人可理解、可执行的状态。

图注:GEAR DexUMI外骨骼与星动XHAND 1 Pro-U关节一一对应、机械同构示意(2026 CoRL)

 

因此,GEAR DexUMI复刻星动XHAND 1 Pro-U的16自由度机械结构、接触面与腕部相机安装位置,并建立外骨骼关节与机器人关节的一一对应,并不是简单复制外形或追求自由度数量,而是让关节运动、指尖力与相机视角在机器人侧都有明确对应量,在数采端与执行端建立共享的关节动作空间。

星动XHAND 1 Pro-U由高自由度、具备全手触觉的星动XHAND 1 Pro平台演进而来,围绕“GEAR DexUMI+GR00T 2+星动XHAND 1 Pro-U”数据闭环完成针对性架构重构,同步优化外骨骼佩戴、自然示范、触觉信号稳定性与真机抓握,使关节级对应转化为高质量、可学习的数据对应,是英伟达GEAR DexUMI官配的高自由度五指灵巧手。

 

星动XHAND 1 Pro-U由星动XHAND 1 Pro平台演进,更贴合采集与执行的一致性,是英伟达GEAR DexUMI官配的高自由度五指灵巧手

 

从让机器人“完成动作”,到让机器人通过学习“掌握动作”,星动XHAND 1 Pro-U将数据采集、技能学习与真机执行的一致性贯穿于灵巧手设计,探索面向具身智能的新一代硬件设计理念。围绕这一理念,其从四方面优化佩戴、采集与执行的一致性,让示范更自然、数据更稳定、真机执行更贴近采集记录:

 

  • 四指指尖改为连杆欠驱动设计:精简为4个关节模组,关节联动关系更清晰,可减少示范动作映射时的额外补偿;

  • 重新设计拇指位置:调整拇指相对四指的布局并精简一个关节自由度,提升GEAR DexUMI手套佩戴的贴合度、自然性与舒适度;

  • 优化掌心触觉布置:保留指尖与手掌的大部分触觉,仅移除掌心一块易受动态形变影响的模块,降低信号漂移与观测噪声;

  • 增加手掌侧摆自由度:顺应抓握时的手掌形变,增强对不同物体形状与抓握姿态的适应性。

GEAR DexUMI数据虽也能经动作重定向与视觉适配迁移到其他灵巧手,但跨构型需额外的数据转换与关节、接触信息重映射;星动XHAND 1 Pro-U与GEAR DexUMI关节一一对应,省去这一环节,承接示范更直接、信息保留更完整,真机执行效果更好,更稳定可靠。

 

星动XHAND 1 Pro-U正式限量发售

面向科研团队与产业伙伴开放交付

 

完成闭环验证后,星动XHAND 1 Pro-U开启限量发售,仅40只,售完即止,科研团队与开发者可直接接入自有研究流程。

英伟达同步在GR00T 2官方项目页开源GEAR DexUMI采集端硬件设计,星动XHAND 1 Pro-U则提供可直接采购的执行端载体,为跨本体后训练与真机验证提供硬件基础。

欢迎科研机构、开发者与产业伙伴联系,获取星动XHAND 1 Pro-U产品信息、
URDF模型、商务报价及合作方案。

采集来源:星动纪元

2025年,人形机器人产业迎来爆发拐点。特斯拉Optimus量产在即,华为、宇树等企业加速技术突破,行业正从“实验室研发”向“规模化落地”跃迁为打通产业链上下游协作壁垒,艾邦机器人正式组建"人形机器人全产业链交流群",覆盖金属材料、复合材料、传感器、电机、减速器等全硬件环节,助力企业精准对接资源、共享前沿技术!

扫码关注公众号,底部菜单申请进群

作者 xy