LingBot-Touch：蚂蚁灵波开源的触觉预训练基础模型，打通机器人“接触感知”的关键一环

1. LingBot-Touch是什么

LingBot-Touch是蚂蚁灵波开源的一款触觉预训练基础模型，其核心定位是充当触觉传感器与机器人动作模型之间的“翻译器”。该模型能够将磁触觉、视触觉、压阻式等异构传感器信号统一编码为标准化触觉Token，输出接触位置、受力大小与方向等动作模型可直接理解的特征，有效破解了直接向策略模型喂入原始信号反而降低操作成功率的行业难题。基于JEPA（联合嵌入预测架构）路线训练，LingBot-Touch采用共享触觉Transformer主干，模型参数量控制在约500万级别，已在26项真机任务上验证有效性，并展现出对未见传感器的零样本迁移能力，补齐了视觉负责接触之前、触觉负责接触之后的关键感知一环。

技术定位与领域： LingBot-Touch属于机器人触觉感知与表征学习交叉领域，具体指向触觉预训练基础模型方向。在机器人操作任务中，视觉感知解决“物体在哪里、如何接近”，而触觉感知解决“手指碰在哪、用了多大劲、是否打滑”的接触阶段问题。该模型在该领域确立了“统一异构触觉信号、零样本跨硬件迁移”的独特定位，为触觉数据的标准化与复用提供了通用解决方案。

研发背景： 该模型由蚂蚁集团旗下的蚂蚁灵波机器人团队研发并开源。研发动机源于行业普遍存在的触觉数据“互不通用”痛点——不同传感器原理、不同触点布局产生格式迥异的数据，导致换一只手就需要从头训练。蚂蚁灵波团队结合其在具身智能领域的技术积累，选择JEPA路线构建通用触觉表征，并借助手套采集方式大幅降低数据标注成本，最终开源了技术报告、代码和模型权重。

核心价值： LingBot-Touch解决了三大实际问题：其一，实现异构触觉传感器信号的统一编码，终结了触觉数据格式碎片化的问题；其二，通过“地址化”Token机制和共享主干，实现了对未见过的传感器和灵巧手布局的零样本迁移，使“一款硬件的经验成为下一款机器人的起点”；其三，作为冻结编码器即插即用地挂载到主流动作模型，参数量仅增加约0.13%–0.16%，在26项真机任务上平均成功率最高提升超20个百分点，显著降低了触觉感知的应用门槛。

技术特点： LingBot-Touch的核心技术优势体现在四方面：一是采用标准化几何接口与Token地址机制，以时间、手指编号和三维位置作为“地址”并通过RoPE注入，摆脱对固定触点布局的依赖；二是采用“分入口、共主干”的混合架构，三种传感原理各配轻量Tokenizer，随后汇入共享Transformer主干联合学习；三是基于JEPA的特征空间预测训练，随机遮蔽90%触点，迫使模型学习真正的接触物理表征；四是引入触点扰动策略，人为制造第四种布局，确保学到的表征具备跨硬件可迁移性。

2. 主要功能

• 异构信号统一编码： 将磁触觉、视触觉、压阻式三类主流触觉传感器的原始信号统一翻译为标准化的触觉Token。该功能解决了不同传感原理在采样频率、物理量纲和噪声特性上的显著差异，从源头建立了触觉数据的通用语言，使下游动作模型无需区分信号来源即可理解接触信息。

• 接触状态感知： 从触觉信号中解析出接触位置、受力大小及方向随时间的变化，让机器人清楚掌握“手指碰在哪、用了多大劲、有没有打滑”。该功能输出的是接触物理量而非原始读数，对拉拉链、拧瓶盖等接触密集型精细操作有着直接的价值，为策略模型提供可用的接触反馈。

• 跨硬件零样本迁移： 采用统一坐标空间与共享主干架构，将触点映射到标准化的指尖坐标空间，并通过Token地址机制消除对固定触点数量和排布的依赖。实测中，该模型在从未见过的XHand传感器上、参数未作任何调整的情况下，成功率从48%提升至74.17%，充分验证了表征的可迁移性。

• 即插即用接入动作模型： 作为冻结的特征编码器，可直接挂载到π0.5、Diffusion Policy、T-Rex等主流动作模型上，参数量仅增加约0.13%–0.16%。该功能以极低侵入性的方式为现有策略模型补充触觉感知通道，无需改动原模型的网络结构和训练流程，显著降低了采用触觉感知的工程成本。

• 高频高效实时推理： 最小版本HaT-Tiny仅约546万参数，支持高频实时推理，满足灵巧操作对毫秒级响应的要求。这一特性使得触觉编码能够嵌入到真机部署的推理循环中，不构成计算瓶颈，对实时性敏感的接触任务尤为关键。

• 提升接触密集任务成功率： 在26项真机任务上平均成功率最高提升超20个百分点，尤其擅长拉拉链、拧瓶盖、插吸管等接触密集型精细操作。该功能通过提供清晰的接触状态表征，帮助策略模型在接触阶段做出更精准的力控决策，减少了因盲目施力造成的失败。

3. 应用场景

• 零售分拣： 在药房、便利店等场景中，机器人需要抓取大小不一、形状各异的商品。通过在指尖引入LingBot-Touch，机器人可实时感知抓取力度与是否打滑，从而自适应调整夹持力，有效降低商品破损率。该场景对触觉的形变感知能力要求较高，而统一编码后的标准Token可直接驱动力控策略。

• 物流分拣： 处理软包装、易碎品（如袋装物品、瓶装液体）时，LingBot-Touch帮助机器人感知包裹形变与内部晃动状态，实现稳定抓放。相比视觉方案，触觉模态在包装袋遮挡、光照变化等条件下仍能提供可靠的接触反馈，保障分拣作业的平稳性。

• 工业精密装配： 完成插拔、旋拧、对位等装配动作（如拧瓶盖、插钥匙开锁）时，摄像头视野常被手部或工件遮挡，触觉成为唯一的感知来源。LingBot-Touch在接触阶段持续感知阻力变化，为策略模型提供实时的力觉反馈，使装配动作在“看不见”的情况下依然精准可控。

• 餐饮与饮品操作： 执行插吸管、挤牙膏、封袋等精细任务过程中，机器人需要感知薄膜刺破瞬间的力突变。LingBot-Touch能够捕捉接触状态的细微变化，帮助机器人在恰当的时机施力或收力，避免因用力过猛导致包装破损或操作失败，在高频重复作业中保持稳定的成品率。

4. 如何使用

1. 获取模型资源： 从GitHub仓库（https://github.com/Robbyant/lingbot-touch）获取开源代码，从Hugging Face模型库（https://huggingface.co/collections/robbyant/lingbot-touch）或魔搭社区下载预训练模型权重，并获取技术论文（https://arxiv.org/pdf/2611.12806）了解实现细节。

2. 接入传感器信号： 将现有灵巧手上的磁触觉、视触觉或压阻式传感器原始信号接入LingBot-Touch。该模型设计为兼容异构传感器输入，无需更换硬件或调整传感器本身的安装方式，只需按代码仓库提供的接口规范接入原始数据流。

3. 编码触觉特征： 运行LingBot-Touch前向推理，将原始触觉信号编码为标准化触觉Token。模型输出包含接触位置、受力大小、受力方向等标准化表征，这些特征可直接被下游动作模型读取，无需额外的特征工程处理。

4. 动作模型后训练： 在训练策略模型（如π0.5、Diffusion Policy）时，将冻结的LingBot-Touch特征作为额外输入一起参与后训练。具体做法是在原有观测空间中加入触觉Token向量，策略模型的网络结构无需改动，仅增加少量输入维度。

5. 部署推理上线： 将训练好的策略部署到真实机器人上。部署时LingBot-Touch以冻结编码器方式实时运行，参数量仅增加约0.13%–0.16%，对推理延迟影响极小。建议根据实际机器人主控的计算资源选择完整版或HaT-Tiny轻量版，以兼顾精度与实时性。

5. 优缺点分析

6. 同类工具对比

在选型建议方面，面向研发与通用性需求的场景优先考虑LingBot-Touch。其零样本跨硬件迁移能力使研究团队能够在一款硬件上完成策略开发，再迁移到下一代机器人平台，大幅降低重复开发成本，尤其适合多机型、多传感器混用的实验室环境。而面向单一硬件批量部署的生产场景，如果传感器型号长期固定且任务类型相对单一，传统专用方案或FTP-1仍可作为可行选择——这类方案对特定硬件的针对性优化可能带来更好的单点性能，但需明确接受其扩展性差、跨平台能力弱的局限。综合来看，对于追求触觉能力通用化和数据资产复用的团队，LingBot-Touch是目前更具前瞻性的选项。

7. 编辑总结

LingBot-Touch在触觉感知领域的核心创新在于将预训练基础模型的方法论成功引入触觉模态，并解决了长期制约触觉技术落地的数据通用性问题。从技术角度看，其“分入口、共主干”的混合架构和基于JEPA的特征空间预测策略具有清晰的合理性：前者以轻量Tokenizer消化传感器硬件差异，后者通过90%遮蔽训练迫使模型聚焦真正的接触信息而非背景统计规律。触点扰动机制的引入更是针对“模型背诵布局”这一隐患的精准修正，这些设计从系统层面保证了表征的物理可迁移性，而非仅仅在数据层面做文章。

在实用价值上，LingBot-Touch以约500万参数的轻量规模、0.13%–0.16%的参数侵入代价，实现了最高超20个百分点的成功率提升，这一性价比在触觉感知领域具有参考意义。零样本跨硬件迁移能力（48%→74.17%）则直接回应了机器人行业“换手即重来”的沉疴，为触觉数据的资产化复用提供了可行路径。

定位上，该模型适合三类用户：一是开展灵巧操作研究的科研团队，可将其作为标准触觉特征提取器加速策略迭代；二是机器人本体厂商，希望通过通用触觉编码降低多机型适配成本；三是触觉传感器厂商，可借助该模型统一其产品线的数据接口标准。展望未来，随着开源社区对更多传感原理的扩充以及数据规模的持续增长，LingBot-Touch所代表的“触觉基础模型”路径有望成为机器人触觉感知领域的基础设施，推动触觉从“专用配件”走向“通用能力”。

8. 常见问题FAQ

Q：LingBot-Touch支持哪些类型的触觉传感器？
A：目前支持磁触觉、视触觉、压阻式三类主流触觉传感原理。该模型通过“分入口、共主干”架构为三类传感器分别设计专用Tokenizer，并将Token统一映射到标准化指尖坐标空间。对于这三类以外的传感器（如电容式、超声波式），官方尚未明确验证，建议关注项目仓库的后续更新。

Q：LingBot-Touch是否需要对每个机器人单独训练适配器？
A：不需要。这是该模型的核心设计优势之一：模型在预训练阶段学习的是与硬件无关的接触物理表征，而非特定的传感器几何排布。实测中，该模型在从未见过的XHand传感器上实现了零样本迁移，参数未作任何调整。不过，当接入全新的传感器时，建议先在少量数据上进行验证以确认迁移效果。

Q：接入LingBot-Touch需要多大的计算资源？
A：LingBot-Touch的完整版参数量约500万，最小版本HaT-Tiny仅约546万参数，对计算资源的要求相对较低。作为冻结编码器运行时，其增加的推理开销很小，可在常见的机器人主控设备上实现高频实时推理。具体部署时可根据设备算力选择合适版本。

Q：LingBot-Touch如何接入现有的动作策略模型？
A：该模型以冻结编码器方式接入，将原始触觉信号编码为标准化Token后，将Token特征作为额外输入拼接到动作模型（如π0.5、Diffusion Policy、T-Rex）的观测空间中即可。整个过程不需要修改动作模型的网络结构，参数量仅增加约0.13%–0.16%，对原有训练流程的干扰极小。

Q：预训练数据是如何获取和标注的？
A：预训练数据总量为4983小时、约13.3亿帧，其中2/3数据来自手套采集，降低了数据采集门槛。标注方面，数据仅需标注任务类别，无需标注力的大小等物理量，大幅减少了标注工作量。这一数据获取策略在保证模型学习接触规律所需数据规模的同时，有效控制了成本。

9. 项目地址

• 项目官网： https://technology.robbyant.com/lingbot-touch
• GitHub 仓库： https://github.com/Robbyant/lingbot-touch
• Hugging Face 模型库： https://huggingface.co/collections/robbyant/lingbot-touch
• 技术论文： https://arxiv.org/pdf/2611.12806