500小时视觉-触觉数据背后，途见手套记录了什么？

目前，业界已积累了丰富的第一人称数据，但其中包含同步触觉信息的数据仍然较少。视频画面能呈现人如何操作物体，却无法提供接触、压力等表征物理交互的关键信息。TouchScale将视觉与真实触觉同步记录，为学习物理交互提供了包含触觉在内的完整全模态数据。

论文配图。图中③为途见科技TachinGlove柔性触觉数据采集手套

采集系统结合头戴RGB-D、双腕RGB相机与双手佩戴的TachinGlove，提供第一人称视角信息、手腕视角信息和手物交互产生的触觉信息。采集形成的数据集包含约8.7万条轨迹、涉及约2000种任务描述和1500余件物体，约20名参与者在9类采集场景、800余种场景配置中完成搬运、倒取、插接、折叠、擦拭等单手或双手任务。

论文从触觉预测、视觉表征学习和机器人操作三个方面验证了数据集的价值。在跨传感器触觉预测实验中，使用TouchScale约16小时数据训练的模型，相比使用EgoTouch同等规模数据训练的对照模型，零样本接触IoU由0.134提升至0.181；在视觉表征学习实验中，TouchScale预训练的视觉编码器在三个动作识别基准上均取得了所比较视触觉数据集中的最佳结果；在真实机器人实验中，加入TouchScale中间训练后，机器人在软硬物体分拣、瓶盖移取、试管转移和白板擦拭四项任务中的平均成功率由22.5%提升至57.5%，提高了35个百分点。

视觉能够帮助机器人识别物体、判断位置并规划动作，但在实际操作中，仅凭视觉往往难以准确感知物体与手部之间的接触状态，触觉则弥补了这一不足。拥有了触觉，机器人能够直接感知接触位置、压力分布及其变化，判断物体是否抓稳、夹持力度是否合适，以及是否出现滑移等异常情况。

在此基础上，机器人可以根据实时触觉反馈调整抓取力度和操作动作，减少因接触偏差、受力异常等问题造成的操作失败。此外，如果模型能够学习接触状态随动作变化产生的规律，就有望预测未来的触觉变化，从而在风险发生前提前调整动作，实现从被动反馈到主动预测的转变。

要让机器人具备这些能力，不仅需要触觉感知硬件，更需要大量真实的接触数据作为学习基础。TouchScale正是从这一方向出发，探索如何通过大规模人类视触觉数据，让机器人学习物理交互中的接触规律，并将其应用于真实操作任务。

论文首先利用TouchScale开展基于视觉的触觉估计实验，在相同模型架构和相近训练数据规模（约16小时）下，使用TouchScale数据训练的模型，在独立的EgoTactile数据集上实现了更好的零样本预测表现，接触IoU由对照模型的0.134提升至0.181。此外，论文还利用触觉信息监督视觉编码器的预训练，使模型能够从视觉中学习与物理交互相关的特征。在三个动作识别基准上，TouchScale预训练的模型均取得了所比较视触觉数据集中的最佳结果，展现了触觉数据在视觉理解与特征迁移方面的应用价值。

在感知学习取得良好效果的基础上，论文进一步探索了人类触觉数据对机器人操作的帮助。基于N₀-VTLA模型，研究首先利用TouchScale进行中间训练，使模型能够结合当前视觉、任务指令和触觉信息，学习预测未来一段时间内的触觉变化。这一阶段仅更新触觉相关模块，无须人类动作标签，也不需要将人手动作重定向到机器人。随后，通过机器人示教进一步训练动作策略，使模型能够结合预测的触觉特征生成机器人动作，将人类操作中学到的接触变化规律应用于机器人控制。

在真实机器人平台上，论文采用xArm6机械臂与BrainCo Revo 2灵巧手，将TachinGlove套在灵巧手上，采集机器人与物体接触时的触觉信息。在人工遥操作示教过程中，手套同步记录真实的接触与压力变化；在机器人自主执行时，手套持续提供触觉观测，与视觉、任务指令及机器人状态共同参与动作生成。同时，机器人端采集的触觉数据还被用于评估模型的未来触觉预测能力，验证人类视触觉数据在机器人场景中的迁移效果。

为验证上述训练方法的实际效果，论文在相同机器人平台上开展了对照实验。两组模型采用相同的初始权重、每项任务相同的50条机器人示教及后续训练流程，区别仅在于是否使用TouchScale进行中间训练。实验结果显示，经过TouchScale训练后，机器人在软硬物体分拣、瓶盖移取、试管转移和白板擦拭四项任务中的平均成功率由22.5%提升至57.5%，提高了35个百分点。研究还发现，随着TouchScale训练数据量增加，触觉预测和机器人操作表现总体呈现提升趋势，体现了大规模人类视觉-触觉数据支撑具身智能实现的广阔前景。

论文配图

这些结果验证了这批人类视觉-触觉数据的训练价值，也为持续积累同类数据提供了依据，并进一步传递出一个信号，触觉正走上视觉领域走过的Scaling之路。

这项工作也为行业指明了一条新的范式路径。TouchScale未使用任何人类动作标签，也不将人手轨迹映射到机器人，而是让模型学习“接触将如何发生”。这是行业从VLA（视觉-语言-动作）向VTLA（视觉-触觉-语言-动作）范式演进的关键一步：触觉不再是昂贵、零散的附加模态，而是可以规模化采集与学习的核心数据资产。

此前，业内已公开的人类视觉-触觉数据集，最大规模不足30小时，与大模型训练所需的数据量相差甚远。高质量视觉-触觉完整模态数据集如何持续、稳定获取？触觉何时迎来Scaling时刻？TouchScale给出的答案是：从采集端固定全部硬件与流程。也就是说，在同一套传感与采集体系下，把高质量的第一视角视觉-触觉数据真正扩展到数百小时，让“数据规模”成为触觉领域可以被单独研究的变量。

这背后，是一套面向长时间、标准化采集的稳定、耐久的触觉硬件体系。

论文配图

TouchScale中支撑高分辨率双手全掌触觉数据采集的TachinGlove柔性触觉数据采集手套，采用柔性贴合与仿生掌纹分布设计，采集范围覆盖五指与手掌区域，甚至包括手掌外侧，从而能够获得更加真实、完整的人手交互数据。此外，如论文中所述，手套还可以直接套在类人机械手上，使其获得和数据采集人手的同构触觉。

TachinGlove单只手套的880个触觉传感器单元、mN级微力感知与三维力感知能力，更是展现出针对TouchScale覆盖的1500余件物体，9类采集场景、800余种场景配置的良好适应性，让日常任务与更精细的交互操作都能被精准记录。

此外，数据不仅要采得到，还要用得上。TachinGlove的空抓无脏数据设计成为“高质量”触觉数据的核心保障。这一技术优势能够避免可穿戴触觉设备因材料自身形变导致的噪声信号，做到只测量真实接触，并进一步降低后续数据清洗成本，让采集到的视觉-触觉数据能够更高效地接入模型训练。

在触觉Scaling的前行浪潮中，途见科技不断实现产品创新，在标准版的基础上推出了TachinGlove Snap快拆版本，能够实现采集模块与手套本体的快速分离，更好地满足高频试验、多批次采集等场景需求。即将面市的Pro版本还进一步融合了IMU、EMF技术，并配套双目及多目Ego，将实现更快速更准确的全手姿态追踪，为训练提供毫米级的高精度手部位姿数据及更完整的环境信息，同时更适配遥操作的实时性。