机器人大模型正被一个关键瓶颈卡住：
大规模高质量机器人数据。
VLA模型快速发展，但其性能高度依赖昂贵且难以扩展的真机数据。
这些数据几乎完全依赖人工遥操作采集，成本高、效率低，且与机器人本体强绑定——换任务、换场景、换结构，数据就需要重新采集。
更大的数据源其实一直在身边：人类每天都在自然环境中完成大量物理交互，成本低、可规模化。但人手与机器人在结构和动力学上存在显著鸿沟，直接混合训练不仅难以提升性能，甚至可能造成负迁移。
基于此，至简动力联合北京大学、港中文、乙太科技团队延续了之前LaST系列对“隐空间推理”的探索，提出的 LaST-HD，回答了“如何高效获取高质量人手数据，并将其有效用于机器人大模型训练”这一核心问题。
其核心思路并非在动作空间上强行对齐人手与机器人差异，而是让二者首先在一个共享的物理推理隐空间中达成一致，再基于这一统一表征去学习具体动作策略。
在此基础上，团队进一步设计了配套的轻量级人手采集手套，以及一套从协同训练到在线部署的渐进式训练方案，使模型能够在新场景中通过少量快速采集的人手数据实现高效适配，同时学习用户自身的操作习惯而非数据采集者的偏好，从而实现面向真实家庭环境的个性化与千人千面的机器人能力。
图 1：LaST-HD 试图打通一条新路径：让机器人不只从真机遥操作中学习，也能从人手操作里吸收可迁移的物理经验。图中左侧是 OOL Glove 人手数据采集，中间是人手与机器人数据的物理隐空间对齐，底部是多种机器人本体和真实任务验证。
机器人大模型已经成为通用机器人操作的主流范式，但它的规模化训练高度依赖海量真机演示，而精细、长程任务的遥操作采集效率极低。相比之下，人手演示直接来自人与物理世界的自然交互，天然携带丰富的操作先验，是迁移人类经验的理想数据基底。
围绕人手到机器人的迁移，学界已有不少尝试，大致可以分成几个阶段。
最早是运动学重定向，把人手姿态直接映射到机器人关节空间；
随后出现一批从人类视频中提取信息的工作，包括视觉表征、物体 affordance、轨迹先验和潜在动作等；
进入 VLA 时代，更多方法开始把人手当作“另一种身体形态”，与机器人数据放在一起联合协训，指望模型自己学出共享表征。
这些协训方法把方向带对了，但普遍卡在两类短板上：
● 要么对数据规模高度敏感，人手数据一少就不灵；
● 要么忽视了人手与机器人操作之间更深一层的物理动力学对齐，只是在表面缝合。
由此，论文提出了一个关键问题：能否把机器人大模型的物理推理能力当作中间接口，更高效地把人手演示迁移到机器人动作学习中？
LaST-HD 的回答，是把“推理先于行动”（reasoning-before-acting）的 大模型范式再往前推一步，以对齐的潜在推理空间作为跨形态动作学习的桥梁。具体来说，它基于 Mixture-of-Transformers（MoT）架构，先在一个对齐过的隐空间里完成物理推理，再通过共享注意力把推理结果传给动作生成模块。换句话说，模型不是看到画面直接吐动作，而是先在“脑子里”对当前任务的物理动态推演一遍，再动手。
图 2 ：LaST-HD 框架（左）与 OOL 手套（右）。动作条件化世界模型把预测的物理后果转成隐空间监督信号，对齐后的隐式 CoT 通过共享注意力驱动动作专家生成动作。
LaST-HD 基于 Janus-Pro 构建，采用 Mixture-of-Transformers 架构，延续“推理先于行动”的范式。模型内部分成两个专家：推理专家在隐空间自回归生成推理 token，用来刻画与任务相关的物理动态；动作专家则通过流匹配（flow matching）并行预测动作块。两个专家之间用共享注意力（shared attention）打通，把推理得到的物理先验注入到动作生成中。视觉编码器采用 SigLIP-Large，输入分辨率 384×384，视觉特征经 MLP 投影进语言模型的隐空间；骨干网络则是一个被改造成 MoT 策略的解码器结构。
而要让这个隐空间真正“对齐”人手和机器人，关键就在监督信号。LaST-HD 训练了一个动作条件化世界模型（前向动力学）：它在非配对的人手与机器人轨迹上学习，以动作标签为弱锚点，通过预测“动作会带来什么物理后果”，把两种形态的表征拉到一起。世界模型提取出的前向动力学特征，被直接拿来当作推理专家的显式监督目标。
训练时，推理专家输出的预测 token 与世界模型给出的目标 token 之间计算余弦相似度损失，与动作流匹配损失加权合并优化。世界模型一旦预训练完成就被冻结，所有 latent target 全部离线预计算、随训练数据一起载入，因此完全不增加推理阶段的开销。
对齐的效果，在两组可视化里得到了直接印证。
在 UMAP 降维图上，同一任务下人手轨迹与机器人轨迹的隐表征，形成了相互交叠的几何结构，而不是各自孤立的两簇——说明两种形态在隐空间里确实被拉到了一起。在注意力图上，对齐后的潜在 token 会集中盯住被操作的物体和接触区域，而不是分散在背景上——说明模型抓住的是任务相关的物理交互，而非无关的视觉外观。
图 3：LaST-HD 与 SigLIP 基线的注意力图对比。无论人手还是机器人数据，LaST-HD 的潜在 token 都更集中在被操作物体与接触区域，而 SigLIP 基线则分散在背景上。
数据层面的问题同样关键：外骨骼手套刚性强、裸手追踪不稳定。
LaST-HD 的OOL Glove（Out-of-Lab Glove）提供了一种更轻量、更高保真、可复用的人手数据采集方案。
单只手套重量不到100g，内置6枚紧凑型9轴IMU模块，在统一手部坐标系下追踪21个手腕关键点，采样率超200Hz、端到端延迟低于10ms。采集时配合头部相机和双腕相机，形成语言、视觉与人手运动学的同步多模态轨迹。
更重要的是，同一份人手数据能跨夹爪和灵巧手复用：
夹爪开合可以从指尖距离推断，灵巧手关节可通过逆运动学求解。相比每换一个机器人就重新遥操作采一遍，人手数据复用效率更高。
训练流程上，LaST-HD提出Mixed-to-Human渐进式方案：
Stage 1：在人手与机器人混合数据上联合协训打底，让模型既学会机器人本体动作，又把人手数据里的物理先验吸收进来；
Stage 2：面向真实部署做在线纠错——机器人到新环境后先跑一遍找出失败点，人只需戴上OOL Glove补采少量纠错数据，就能快速更新模型，替代笨重的真机遥操作。
图 4：OOL 手套硬件与人手采集系统。（a）内置 6 枚 9 轴 IMU 的轻量手套；（b）头部 + 双腕相机的同步采集设置；（c）重建出的 21 个 6-DoF 手腕关键点。
研究团队在3种机器人配置、6项真机任务上验证了LaST-HD，覆盖双臂夹爪、灵巧手，以及拧瓶盖、水果分类、装袋拉链等多步操作任务。域内测试中，LaST-HD平均成功率达到73%，高于π0.5、Cosmos-Policy等对照方法；其中，水果分类和装袋拉链任务的成功率分别达到95%和80%。
论文认为，这一优势来自模型在行动前对接触、物体运动等物理后果进行隐空间推理。相关消融实验也显示，去掉这一能力后，成功率会明显下降。
LaST-HD模型的一个突出优势。只使用50条机器人数据，再加入50条人手数据的Mix-HD版本，平均成功率仍达到68%，接近使用完整100条机器人数据训练的结果。这说明，人手数据在一定程度上可以替代昂贵的真机示范。
在泛化测试中，模型先通过机器人数据获得基础操作能力，再针对未见位置、未见物体和未见背景补充少量目标场景人手示范。零样本设定下，各类方法的成功率都会明显下降；加入人手数据后，LaST-HD在三类新条件下的整体平均成功率提升到56%，其中未见背景达到68%，未见物体达到58%，说明人手示范能够帮助机器人更快适应环境变化。
在水果分类任务的在线纠错实验中，团队进一步针对机器人容易失败的状态补采人手数据。仅用约20分钟，通过OOL Glove采集60条纠错示范，就让模型在未见背景和未见物体场景中达到100%成功率；即便面对最难的未见位置，成功率也从60%逐步提升到80%。
上述实验结果是对LaST-HD模型快速部署和通用泛化能力最生动的注脚。这意味着，机器人部署到新环境后，可以不必重新搭建复杂的遥操系统。操作员只需戴上手套，在机器人容易失败的场景中补充少量正确示范，就能完成快速适配。
LaST-HD真正有意思的地方，在于它重新定义了人类数据进入机器人训练的方式。
本质上，这一模型试图解决具身智能中的一个基础矛盾：
机器人需要海量真实操作数据，但真实机器人数据昂贵；人类操作数据廉价而丰富，却由于人手和机器人身体结构不同，难以直接迁移。
过去，行业常常把人类数据看成视频、轨迹或示教素材。但如果只盯着表面动作，人手和机器人之间的差异会一直存在。LaST-HD换了一种方式看待行动者、行动与世界。它延续了自LaST₀继承的“潜在时空思维链”的思路，不仅仅关注动作本身，而是更进一步，思考"行动之后，世界发生了什么改变"。相比直接对齐人类与机器人两种本体的动作形式，这些由动作引发的物体运动、接触关系和场景变化，更接近机器人真正需要迁移的操作经验。
对于至简动力而言，LaST-HD机器人要从demo走向真实生产力，不能只靠一台机器、一批遥操作数据、一套固定任务。它需要数据、模型和本体之间的持续闭环。LaST-HD给出的，是一条让机器人从人的日常操作中吸收经验、再把这些经验转化成行动能力的路径。当人手数据能以更低成本进入训练体系，机器人适配新任务、新环境、新用户，就不必每次都从零开始。而这，正是机器人从"会做一件事"走向"能学很多事"的起点。
论文链接：https://arxiv.org/pdf/2606.23685
项目主页：https://siriyep.github.io/last-hd-project-page/
2025年，人形机器人产业迎来爆发拐点。特斯拉Optimus量产在即，华为、宇树等企业加速技术突破，行业正从“实验室研发”向“规模化落地”跃迁为打通产业链上下游协作壁垒，艾邦机器人正式组建"人形机器人全产业链交流群"，覆盖金属材料、复合材料、传感器、电机、减速器等全硬件环节，助力企业精准对接资源、共享前沿技术！
扫码关注公众号，底部菜单申请进群
