TouchSteer：基于 Steering Vectors 的触觉感知与自然语言接地框架
IEEE Transactions on Robot Learning, 审稿中, 2025
摘要
触觉传感能通过接触直接获取物体的物理属性，然而大多数现有方法仅采用预定义属性标签来描述触觉数据， 语义灵活性受限。将触觉信号与自然语言对齐，可以得到更丰富的、概念级别的表示。
本文提出一种基于 Transformer 的触觉—语言框架，借助 Steering Vectors 将共享嵌入空间 组织为可操控的概念空间：这些向量把触觉属性编码为语义方向，使模型在有限监督下仍能对语义实施 显式控制。同一潜空间支持两个互补任务：给定描述期望触觉属性的自然语言查询时，机器人可在其触觉 经验中检索最相关的材料；而当机器人实际接触物体表面后，可生成对该表面触觉属性的自然语言描述。
实验结果表明，该框架能够从自由形式的自然语言中有效检索触觉表示，并生成具有感知依据的触觉描述， 从而更好地支持人—机器人交互。
研究动机
大多数触觉学习流程用一小组固定的属性标签（“光滑""粗糙""粘”）描述接触数据。这对分类任务很方便， 却丢掉了人们实际谈论触感时的丰富程度。我们想要一个共享空间，让自由形式的语言和触觉信号共处其中， 并且让语义轴是可操控的，而不是隐式的。
框架
一个基于 Transformer 的触觉—语言模型，围绕 steering vectors 构建，把触觉属性编码为显式的 语义方向。同一个共享潜空间支持两个互补任务：
- 语言 → 触觉检索。 给定描述期望触觉属性的自然语言，从触觉经验中检索最相关的材料。
- 触觉 → 语言描述。 在实际接触某个表面之后，生成一段描述这种触感的自然语言。