Tactus：低成本压力阵列的开放词汇对象识别

arXiv:2608.04043v1 公告类型：新 摘要：电阻压力阵列是最便宜且出货最广泛的触觉传感器，但触觉表示学习主要集中在对变形凝胶进行成像的光学传感器上。我们提出了 Tactus，一个仅根据压力数据回答文本查询的开放模型：在 STAG 基准（27 个对象，保留的记录）上，它在四次运行中达到 0.771 +/- 0.062 top-1（top-3 0.935），匹配并且最好超过数据集的有监督闭集 CNN（没有经过训练的分类器头）为 0.76。秘诀是小数据：187 个训练记录、在 144k 个未标记的相同传感器帧上进行掩蔽自动编码器预训练，以及传感器自己的校准仿射，它恢复的精度比每次架构更改的总和更高。发布的模型的错误集中在一些接触模糊类中，与文本目标几何形状不相关（在 702 个类对上，Spearman rho <= 0.05），并且在一个点内经受住了释义甚至裸名查询；两个不同的帧恢复了 8 帧精度的 89%。以同样的精度报告故障：跨传感器预训练池没有增益，视觉协同训练降低了触觉，错误归一化的输入管道默默地丢弃了 97% 的传感器动态范围，同时产生了合理的中间结果。模型插入的权重、代码和内存层都是公开发布的。