蚂蚁灵波开源 LingBot-Touch:把触觉变成 Token,机器人拧瓶盖成功率从 56% 提到 90%
基于近 5000 小时真实触觉数据,蚂蚁灵波开源触觉基础模型 LingBot-Touch,把磁触…
文章目录
机器人拧瓶盖,看起来是最简单的动作之一。深度相机能帮手指对准瓶盖,但开始转动之后,事情就变得微妙:瓶盖可能已经松动,也可能是指腹正沿着盖壁打滑。这两种情况在画面里几乎一样,却需要完全不同的动作调整。指尖的接触位置、受力大小和变化,恰恰被手指和瓶盖挡住,摄像头看不见。


一分钟速览
- 蚂蚁灵波 11 月 10 日开源触觉基础模型 LingBot-Touch,基于近 5000 小时真实触觉数据预训练。
- 覆盖磁触觉、视触觉、压阻式三类主流传感原理,把不同原始信号统一成一套“触觉 Token”。
- 在 Sharpa Wave 与 XHand1 两款灵巧手上完成 26 项真机测试,接入后四种动作模型平均成功率提升约 14 至 26 个百分点。
- 拧瓶盖任务中,T-Rex 模型成功率从不用触觉的 56.25%、直接用原始信号的 62.5%,提升到 90%。
视觉解决“在哪”,触觉解决“怎么样”
具身智能这两年的进步,很大一部分来自“看得更清楚”。空间感知、深度估计、抓取点预测,让机器人知道物体在哪、该把手伸到哪里。但真实操作是一个闭环:执行一步、感知变化、修正下一步。视觉能覆盖前半段,接触之后的那部分信息,仍然要靠触觉。
以翻书页为例,指尖要用多大的力、纸张有没有滑动、下一页有没有被带起来,这些都不是视觉能稳定判断的。麻将牌的辨识也是类似逻辑:牌面图案可以看,但牌与牌之间的贴合、厚度差异,摸一下往往更快。
真正的难点不是传感器,是“信号不通”
给机器人装上触觉传感器,不等于它就会用触觉。商用触觉传感器整体还处在早期阶段,视触觉、磁触觉、压阻式各有优劣,面向不同成本和场景,多条路线会长期并存。更麻烦的是数据不通:同样一次接触,在不同传感原理和触点布局下,会产生完全不同的原始信号。模型如果只学会解读其中一种,换一只灵巧手就得重新采集、重新训练。
LingBot-Touch 的思路是把“理解触觉”从具体硬件里抽出来。它按传感原理分别设置编码入口,先处理各自的原始信号,再把不同布局的触点映射到统一的指尖坐标空间,由共享模型学习接触位置、受力及其随时间的变化,最后输出统一的触觉 Token。这样,人戴触觉手套采集的数据和遥操作灵巧手采集的数据可以一起训练,不同动作模型也能直接复用这套表征。
26 项真机测试说明了什么
研究团队在 Sharpa Wave 和 XHand1 上做了 26 项真机任务,接入 LingBot-Touch 后,LingBot-VLA、π0.5、Diffusion Policy 和 T-Rex 四种动作模型的平均任务成功率,比没有触觉时提高约 14 至 26 个百分点。值得注意的是,这套表征并不绑定自家模型,四种动作模型都能受益。
跨硬件复用是另一个关键验证。XHand1 使用的磁触觉传感器型号并不在预训练数据里,模型学到的磁触觉经验全部来自人戴手套采集的数据。换到这只灵巧手后,团队保持 LingBot-Touch 参数不变,只用 XHand1 的操作示范训练动作模型,依然跑通了任务。
工程上也留了余地:26 项测试全部使用约 530 万参数的 LingBot-Touch-Tiny 完成,接入 LingBot-VLA、π0.5 和 T-Rex 后,模型参数量只增加约 0.13% 至 0.16%,对端侧算力相当友好。更大容量的 LingBot-Touch-Small 在感知测试中还有提升空间,说明触觉预训练继续加数据仍然有效。
“具身原生”的一次下注
蚂蚁灵波 CEO 朱兴的说法很直接:数字世界的大模型确实让机器人的任务推理更强,但要跑通操作闭环,物理泛化的硬骨头还得靠具身基础模型自己啃。他把两者看成 1+1 大于 2 的协同关系——通用模型负责理解和推理,具身模型负责感知和闭环执行。
“模态输入的质量很大程度上决定了动作输出的质量,没有好的输入就没有好的输出。”这句话点出了触觉模型的位置:它不直接产生动作,而是站在传感器和动作模型之间,决定动作模型能拿到多好的信息。
对产业的实际影响
短期看,最直接的受益者是灵巧手和传感器厂商。过去每换一种硬件组合,就要重新开发一套触觉能力;有了统一的表征层,硬件可以按成本和任务自由选型,整机团队也能保留自己的动作策略。长期看,触觉、视觉、深度甚至温度如果都能在统一模型里对齐,机器人才可能真正进入需要精细操作的场景,比如装配、分拣、医疗辅助和家庭服务。
当然,开源模型不等于开箱即用。真实产线的物体材质、光照、节拍都更复杂,触觉数据的采集成本也不低。LingBot-Touch 更像是一块地基:它证明了触觉可以 Token 化、可以跨硬件复用,接下来要看有多少团队愿意在这块地基上盖房子。技术报告、模型和代码已在 Hugging Face、GitHub 和魔搭社区开放下载。
本文地址:https://www.163264.com/20233


