视频1(完整Demo)从人类示范到真实G1:观看长距离搬运、导航与脚部交互。
一批人类第一视角数据已经采集完毕,轨迹重建和标定也做过了,但它的质量真的能保证吗?你可能会说“先拿去做预训练”,但即使是预训练,数据质量依然重要。当你将Ego数据重建的轨迹用作动作标签训练模型时,精度不足是会削弱训练收益的。[1]
ACE-Ego-0的实验提供了一个具体例子:当不可靠动作标签没有得到处理时,RoboCasa仿真任务的平均成功率从 (72.8%) 降至 (69.2%) 。[2]这提醒我们,即使用于预训练,动作监督的质量也会影响下游表现。数据是否有效,最终还要看它能否帮助机器人完成任务。
对于人形机器人的长距离移动操作,数据是否有效,需要同时看操作与导航。一段人类全身示范里,既有手如何与物体交互,也有身体如何朝目标移动。机器人能否从中学会抓取和放置,也能利用其中的移动经验到达目标,最后把整件任务做完,才是我们关心的问题。
EgoAlign就围绕这一问题展开:通过对齐,让人类操作示范成为机器人可用的训练数据;通过导航实验,检验人类移动经验能否帮助机器人到达目标;再用约10米的真机搬运任务,验证这些数据能否支撑机器人从“拿起来”一路做到“送过去、放下来”。
论文信息
01 怎么验证?让机器人把任务做出来
人类示范通常没有一份对应的“机器人执行真值”。数据能不能用,最终要看它能否教会机器人完成任务。EgoAlign 把这个检验放在了 Unitree G1 上:操作时能否准确接触,移动时能否到达目标,两种能力能否衔接起来。
图1 任务设定。上排为篮子拾取、运输与桌面放置;下排为导航、脚踏垃圾桶及多目标位置设置。
长距离搬运:接近篮子、提起篮子,完成约10米运输,再放到桌上。只有全部阶段完成,才计为完整成功。
导航与脚部交互:考察约5米导航和脚踩垃圾桶踏板。视频展示连续行为,定量实验分别评估导航与站立状态开始的脚部交互,区分“到达目标”和“完成接触”。
目标也会换位置。除了正前方目标,还设置了多个训练中见过的位置,以及相对这些位置偏移0.5米的未见位置。每种设置测试20次。
关键条件是:以预训练视觉语言模型为基础,不加入目标任务的真机示范,只用处理后的人类示范进行任务后训练,以此来验证人类数据的有效性。训练好的策略结合现有全身控制器,直接部署到G1上。本文的“零样本部署”,指的就是没有目标任务真机示范和部署后的机器人端适应。
02 一段示范里,操作与移动都要留下来
搬运一次篮子,人会先看提手,再看要去的地方。EgoAlign的采集也同时照顾这两件事:近处视角记录手与物体,远处视角记录移动目标,并同步记录全身运动与手部指令,得到人类全身运动数据与视频数据。
图2 人体与机器人端的配置。两路相机兼顾近场操作和远场移动,追踪设备记录人体运动。
随后,系统将采集好的人类动作数据和视频数据处理成面向目标机器人的训练数据:适配人与机器人的动作差异,通过仿真回放构建配对的状态与动作,再用它们训练策略。
图3 EgoAlign整体流程。从人类示范构建机器人训练数据,再通过真机操作、导航和完整搬运检验效果。
这套流程最终要回答的,是两个很具体的问题:人的手碰到了,机器人的手能不能碰到?人能走向目标,机器人能不能也到达那里?
03 先看操作:人能抓到,机器人也能吗?
人手伸进了篮子提手,映射到机器人后,手却可能落在提手下方。身体比例有差异,人形机器人的手臂动作还要与躯干、腿部和全身平衡配合,仅把手的位置算对,并不保证控制器执行后还能到达那里。
图4 结构对齐与执行偏差修正。既考虑身体比例,也检查动作经过全身控制器后,手实际到达哪里。
视频2(操作验证)对齐前后,机器人手部接近篮子提手时的位置差异。
真机对照很直观:仅用运动学对齐数据训练时,机器人提起篮子的成功率为 (0%) ;加入基于执行偏差的修正后,达到 (90%) 。两种配置都在正前方目标设置下测试20次,统计的是提起阶段。
这让操作数据的有效性有了落点:经过对齐的人类示范,确实能教会机器人完成真实接触与抓取。结构对齐由此成为把人类操作经验转到人形机器人上的关键环节。
04 再看移动:人类的移动经验,机器人能学吗?
抓住篮子之后,机器人还得知道往哪里走。人类示范里的观察、转向和接近目标,能否为导航提供有效监督?EgoAlign单独检验了这件事。
这里学的是根据视觉朝目标移动,并到达适合交互的位置。稳定迈步由现有全身控制器承担,机器人可以按照自己的步态接近目标,无需逐帧复刻人的步幅和速度。
视频3(导航验证)在不同目标位置设置下接近垃圾桶,到达可以踩踏的位置。视频展示连续行为,导航与脚部交互分别做定量评估。
用处理后的人类示范训练,机器人在不同目标位置设置下的导航完整成功率达到 (65% - 70%) 。独立测试的脚部交互,在已见与未见目标位置下均为 (60%) 。
图5 导航与脚部交互的独立评估。StageScore为平均阶段完成得分,FullSuccess为完整成功率;每种设置测试20次。进一步的对照,还带来了两个值得关注的发现。
05 多一些人类移动示范,完整搬运也能受益
在完整搬运示范之外,额外加入人类提篮导航示范后,多目标设置下的完整搬运成功率,在已见位置从 (20%) 提升至 (40%) ,在未见位置从 (30%) 提升至 (40%) ;正前方目标设置下则均为 (65%) 。这说明在本文的实验中,补充移动数据能帮助机器人把整件搬运任务做完。
目标换了位置,远处视野尤其重要。保持运动与状态数据相同,仅移除平视的远场画面,导航成功率在多目标已见位置从 (70%) 降至 (45%) ,在未见位置从 (65%) 降至 (35%) 。只盯着手边和脚下,会丢掉寻找远处目标所需的信息。
图6 论文消融实验。(a)额外人类导航示范对完整搬运的影响;(c)远场视角对导航的影响;(d)前文操作对齐的误差与真机表现;(b)比较不同数据构建方法。
人类全身数据中的移动部分,因此有了明确的任务价值:它能提供朝目标移动的训练经验,并在本文的多目标实验中帮助机器人完成搬运。采集时把“往哪里走、怎样接近目标”记录清楚,同样关系到数据最终能发挥多大作用。
06 走过去,还要把整件事做完
操作与导航最终汇到同一项任务里:提起篮子,带着它移动约10米,再放到桌上。机器人要在移动中保持抓持,还要把自己带到合适的放置位置,任何一个环节失败,都不算完整成功。
视频4(完整任务)从接近、提起,到约十米运输与桌面放置,检验人类操作与移动示范能否共同支撑连续任务。主页原片在正前方目标设置下,完整搬运成功率为 (65%) ;在多位置已见与未见设置下,均为 (40%) 。
这组结果也说明,拿得起来,离完成任务还有一段距离。多位置设置下,提起阶段已有 (90%) 的成功率,后续转向与接近桌面的失误仍会让任务失败。长距离移动操作把数据的要求延伸到了整段行为:既要接触准确,也要移动到位,并把最后的放置完成。
07 让人类数据的价值,落到机器人任务上
回到开头的问题:采集和标定之后,这批数据究竟能教会机器人什么?EgoAlign用操作、导航和长距离搬运给出了具体回答。对齐让人类操作示范能够用于真实接触,人类移动数据为到达目标提供训练经验,完整搬运则把两方面放在同一项任务中检验。
这些证据来自论文中的轻载搬运、导航与脚踏交互。面向更大规模的数据或更复杂的场景,同样需要围绕目标机器人和目标任务,检验数据是否真正转化成了可用能力。
目前,项目已开源人类示范到机器人训练数据的处理管线,包括动作对齐、仿真回放、执行偏差修正和状态一动作数据导出,并提供样例。研究者可以从中检查自己的示范在目标机器人上会产生怎样的偏差,构建训练监督,再进一步开展任务验证。方法与实验细节可查看论文及代码。
论文名称:
EgoAlign: Bridging the Human-Humanoid Gap for Long-Range Loco-Manipulation
论文主页:
https://lambdahumanoid.github.io/EgoAlign/
08 从任务验证到规模化学习:团队技术报告
EgoAlign是LambdaHumanoid团队探索人类数据价值的一部分。除了长距离移动操作,团队还在EgoHumanoid-V2中,通过关笔记本电脑、开冰箱、拉窗帘和用脚关抽屉等真机任务,验证了人类示范对全身协调操作的有效性。
沿用PICO全身追踪与GoPro第一视角视频的数采方案,团队进一步构建了包含500小时人类全身运动与视频数据的HumanVerse-500,并检验人类全身数据的规模效应(ScalingLaw)。在已测试的数据规模内,随着人类数据增加,模型验证误差下降,真机任务完成进度持续提升。
在此基础上,团队进一步探索如何将人类交互预训练、全身动作中训练与机器人后训练串成完整的学习流程,相关进展可关注技术报告主页。从验证一批数据能否教会机器人完成任务,到检验更大规模的人类经验能否带来持续收益,这些工作共同推进了从人类全身数据学习机器人能力这条路线。
LambdaHumanoid团队主页:
https://github.com/LambdaHumanoid
参考文献·人类数据与机器人学习
[1] IronMind: Scaling Humanoid Dexterous Manipulation via Camera-Space Ego-Centric Pretraining (2026) §3.1.2 讨论动作轨迹与标注质量,以及预训练数据的筛选和质量加权。
[2] ACE-Ego-0: Unifying Egocentric Human and Robotic Data for VLA Pretraining (2026) §3.2 介绍用于人类伪动作标签的可靠性感知辅助损失;§5.4 的消融中,移除该设计后,RoboCasa平均成功率从 (72.8%) 降至 (69.2%) 。
[3] HumanVerse 数据集论文:Towards a General Humanoid Loco-Manipulation Model via Egocentric Whole-Body Human Data Pretraining (2026) §3 介绍 HumanVerse-500;§5.3-5.4 展示人类数据规模与验证误差、真机任务完成进度的关系。
—END—
图片来自论文,视频来自EgoAlign项目主页。
2025年,人形机器人产业迎来爆发拐点。特斯拉Optimus量产在即,华为、宇树等企业加速技术突破,行业正从“实验室研发”向“规模化落地”跃迁为打通产业链上下游协作壁垒,艾邦机器人正式组建"人形机器人全产业链交流群",覆盖金属材料、复合材料、传感器、电机、减速器等全硬件环节,助力企业精准对接资源、共享前沿技术!
扫码关注公众号,底部菜单申请进群


