ROSE:面向仿人机器人表情的跨具身共享面部运动潜空间
ICRA 2027, 已投稿, 2026
摘要
自然、连贯的全脸动态表情是让仿人机器人显得亲和可信的关键,但现有系统大多只能实现有限的唇部 运动或预设脚本表情。这一局限同时来自物理与算法两方面:紧凑的头部空间难以容纳密集且可独立 控制的执行器;而学习式系统通常先生成虚拟人视频、关键点或面部参数,再通过视觉重定向反推执行器 指令——这种”先渲染、再反解”的路径会引入额外延迟与伪影,也难以把生成的行为可靠地迁移到真实 机器人上。我们提出 ROSE(RObot facial expression through Shared motion Embeddings), 一个融合仿生硬件、跨具身运动表征学习与多模态运动生成的框架。硬件上,柔性腱鞘传动结构在 19.5 cm 高的仿生头部内集成 34 个执行器,将执行器布置与面部动作点解耦,在紧凑体积内实现 协调的全脸表情。算法上,ROSE-VAE 从真人、数字人与机器人观测中学习与身份无关的共享 面部运动潜空间;ROSE-Flow 以文本、音频或二者组合为条件,直接在该空间中生成运动轨迹, 生成器不以视频为输入;ROSE-Act 再把这些轨迹转换为满足约束的执行器指令。
概览
机器人平台
平台共容纳 34 个用于面部表情与颈部运动的执行器,结合柔性腱鞘传动与局部刚性机构:执行器集中 布置在头部顶部与后部,腱绳走向眉毛、眼睑、脸颊与嘴唇;局部连杆、推杆与转轴另外驱动下颌、 嘴角、人中与眼球;颈部支持俯仰、侧倾与偏航三个自由度。
方法
- ROSE-VAE:身份—运动解耦。 身份编码器与运动编码器分别提取身份潜变量与逐帧运动系数,运动 系数经一组共享、带正交正则的可学习运动基投影后与身份潜变量相加,再由解码器重建。真人、数字人 与机器人三类观测共享同一编码器、运动基与解码器,并用面部局部掩码的感知损失保住唇、眼、眉的 细微表情。
- ROSE-Flow:文本—音频条件运动生成。 双流 MMDiT 在运动潜空间中做 flow matching:文本提供 全局意图与表情风格,音频经 Wav2Vec 2.0 提取后以帧局部音频窗口注意力约束每一帧的口型时序。 训练上采用渐进式模态统一:先做音频到运动(A2M)预训练,再以其初始化做文本到运动(T2M) 适配,合并两组权重后联合训练,得到同时支持 A2M、T2M 与 TA2M 的统一模型。
- ROSE-Act:潜变量到执行器。 通过安全的电机随机探索(motor babbling)采集机器人图像与执行 器状态的同步数据对,用 ROSE-VAE 提取运动系数后训练潜变量到执行器的映射;推理时结合标定、关节 限位与速率限制输出约束后的指令,全程无需中间图像重建。
主要结果
- 跨身份运动表征: 在 24 组跨身份重演任务上,ROSE-VAE 的目标身份相似度 CSIM-T 为 0.741 (FLOAT VAE 为 0.730),头部姿态误差 APD 为 1.26°(对比 1.35°)。
- 说话人脸生成: 在 HDTF / RAVDESS 上 FID 与 FVD 均为最优(FVD 54.6 / 56.8,最强基线 FLOAT 为 70.2 / 81.8),两个数据集的 LSE-D 均最低(9.785 / 7.298)。
- 真机唇形: 三段 RAVDESS 测试语句上,ROSE 的唇部潜码 MSE 均为最低,例如 Speech 1 由 RIT 的 0.0202 降至 0.0158。
- 真机部署: 共享运动潜空间省去图像生成、关键点提取、平滑与重定向,执行帧率从 15 FPS 提升到 60 FPS;用户研究中真实感、情感共鸣与唇形同步评分分别为 3.41 / 3.36 / 3.78(RIT 为 2.98 / 2.73 / 3.40)。
视频
演示片段
同一网络在纯文本驱动(T2V)下生成的八段短表情,展示细粒度的眉、眼、唇部协同动态。
人脸到机器人表情重定向
同一段人类表演,经运动潜在接口读出后重定向到机械脸执行器。