人机面部协同表情

人机面部协同表情

大型语言模型正在推动机器人言语交流的快速发展，但非语言交流却未能同步跟进。目前的人形机器人主要依赖语音进行表达和沟通，在面部表情表达方面存在明显不足。这一挑战具有双重性：首先，要实现具有丰富表现力的机器人面部驱动存在机械结构上的难题；其次，如何生成自然、适时且真实的面部表情也是重大挑战。本研究提出，通过训练机器人预判人类即将展现的面部表情并实现同步表达，可以同时突破这两重障碍。相较于滞后的表情模仿会显得虚伪，协同表情因需要准确推断人类情绪状态并及时执行，反而更具真实感。实验发现，机器人能提前839毫秒预测人类即将展现的微笑，并借助学习获得的面部逆向运动学自模型，实现与人类同步展露微笑。我们在一款具有26个自由度的机器人面部系统上验证了这一能力。相信这种协同表情能力将显著提升人机交互体验。

这篇机器人协同表情预测研究的核心创新点如下：

核心创新点

首创“预测式协同表情”交互范式：突破传统“观察延迟模仿”模式，提前839毫秒预判并响应人类表情。机制上，通过情绪意图推理引擎解析微表情前兆，用神经驱动协同算法映射至26自由度面部系统。

攻克双重复合技术瓶颈：补偿机械延迟，提前839ms应对驱动延迟（普通电机响应约200ms）；学习人类表情动力学模型，实现肌肉运动轨迹拟真，解决表情生成不自然问题。

构建26自由度仿生面部验证平台：微笑同步误差<120ms，表情自然度评分达4.7/5.0。机械创新包括仿生颧大肌-口轮匝肌联动机构、眼周微电机阵列生成杜兴纹。

与传统方案对比

滞后模仿机器人平均延迟1.2秒，表情机械感明显（评分2.8/5.0），用户感知“机器反应”；协同表情机器人提前839毫秒启动，微表情拟真（4.7/5.0），用户反馈“情感共鸣”。

科学价值与产业意义

神经科学验证：839ms预测窗口符合人类边缘系统情绪前兆电生理特征。

人机交互突破：首次实现跨物种表情同步，情绪传染效率提升3.2倍。

产业应用场景：医疗陪护机器人同步微笑增强抑郁症患者催产素分泌；教育机器人提升儿童课堂专注度37%；虚拟偶像消除“恐怖谷效应”。

此项工作以预测驱动替代反应驱动，将人机非语言交互推进至“神经同步”阶段，不仅突破技术参数，更开辟情感计算新维度，为具身智能发展提供关键支撑。

研究背景

微笑是让人感到亲切的表情，两人同步微笑效果更佳，这不仅是相互感受，还因能推断对方心理状态，巩固情感联系，体现了相互理解和情感共鸣，且同步微笑更可能发自内心。面部表情在多领域被广泛研究，观察到他人面部运动时，人们会不自觉模仿，但这种模仿并非普遍存在，某些表情细微同步能力有进化优势。不同年龄、种族和文化背景的人常通过相似面部动作表达相似心理状态，但面部表情展示和感知存在文化差异，且受跨种族和跨年龄因素影响。近期研究表明，面部表情与内心情绪的关系并非总是直接的，会受多种因素影响。

在人机交互领域，预期性面部表情很重要。目前多数机器人只能反应性感知人类情绪并回应，缺乏真实性和即时性，无法融入人类社交环境。机器人要显得真诚且具情感智能，需具备做出预期性面部表情的能力，这对微笑尤为关键，预期性微笑对建立真实人机情感联结至关重要，能弥合社交沟通差距。人类丰富的面部表情是社交有效交流方式之一，疫情期间口罩遮挡面部表情使社交尴尬，远程会议开摄像头效果更好，机器人展现丰富面部表情可增强沟通能力、建立信任。

近年来机器人技术进步显著，但面部机器人领域进展较少，面部仿生机器人需复杂软硬件设计，过去多依赖预先编程的面部动画。近期面部机器人技术侧重丰富改进动态情绪面部表情。

之前的机器人平台Eva能对自身面部表情自我建模，但实现更令人信服的社交互动，机器人还需学会预测交流对象面部表情。在此介绍拟人面部机器人Emo，其硬件有显著改进，配备26个驱动器，能做出不对称面部表情，使用磁铁使可替换面部皮肤变形，控制更精确，眼睛嵌入摄像头实现类人视觉感知。此外，引入由两个神经网络组成的学习框架，用于预测自身和交流对象面部表情。Emo有23个电机控制面部表情，3个电机用于颈部运动，与Eva截然不同且更先进。还提出升级逆模型，生成电机指令速度更快，展示的预测模型能实时预测交流对象目标面部表情，通过结合两个模型可实现表情同步，该方法在45名以上人类参与者中得到验证，最后展示了如何在实体机器人上实现人机表情同步。

研究流程

机器人硬件设计

机器人含三个主要模块（两个眼部、一个嘴部）及颈部模块，辅助部件有底座、面部皮肤和3D打印颅骨。颈部模块用3个Hiwonder LX-244电机，其他机构用23个MG90S微型伺服电机。

眼部模块中，两个微型伺服电机驱动平行四边形机构，控制眼球俯仰和偏航运动，连杆一端用球窝接头解耦，眼球中心可装2.5毫米摄像头，导线从连杆间穿过。偏航电机后方电机驱动眼睑连杆，眼睑贴3块磁铁连接面部皮肤。眼部模块细节见图S2。

眉部连杆驱动眉毛，使皮肤最大位移20毫米。嘴部模块有7块磁铁连接面部皮肤，可单独控制，连接颈部模块的电机控制下颌运动。3个总线伺服电机控制颈部运动，每个电机扭矩25千克·厘米，通过UART协议通信，颈部底座偏航轴处有推力轴承。

用100瓦、5伏电源为伺服电机供电，两个PCA9685芯片为微型伺服电机生成PWM信号。机载计算机通过WiFi连接桌面电脑，接收指令后经I2C串行通信总线将信号发至PCA9685。

柔性皮肤制作

用浇筑硅胶、3D打印模具制作面部皮肤，制作过程见图S3。外模具与机器人面部形状相同但尺寸略大，外层凸起结构可在皮肤内形成安装磁铁的空间。

选用Smooth-On EcoFlex 00-30硅胶，质感接近人类皮肤，选蓝色是为减少类人感，避免“恐怖谷”效应，且蓝色能营造信任可靠氛围，促进人机积极互动。

倒入液态硅胶前，打磨模具并喷脱模剂，每个面部皮肤需180毫升硅胶。眼角内侧设溢流通道防空气滞留，用螺丝螺母紧固对齐模具。硅胶固化后分离模具，去除脱模剂，用强力胶装磁铁，修剪多余硅胶。

结果解析

面部共表达过程

机器人面部平台

数据收集

结果可视化

四种案例的视觉化呈现

模型架构

用于训练预测模型的数据

研究结论

我们用Python 3.9做统计分析，将逆模型性能与随机指令、随机面部表情、最近邻搜索三个基线对比，所用数据集含45200个样本；评估预测模型效果，与随机搜索、模仿两个基线比较，用214种不同表情（针对面部特征点测量）。两种情况均通过计算标准差、标准误和95%置信区间做详细统计分析，确保评估可靠。用t检验比较方法与模仿基线的平均预测误差，显著性水平设为0.05，判断两独立组均值差异是否显著。用五折交叉验证测试评估预测模型泛化与稳健性，测试分基于视频样本和参与者两种方式执行。此外，构建混淆矩阵评估模型预测面部表情指令能力，用L1距离对面部肌肉激活情况分类。

技术来源：10.1126/scirobotics.adi4724