返回博客列表

从人脸检测到情绪理解：30年技术简史

从1990年代的传统计算机视觉，到深度学习时代的人脸识别与表情识别，再到微表情、声纹多模态与端侧推理——回溯这段技术演进，理解「让机器人读懂人心」站在哪些里程碑之上。

一、两条源流：会「找脸」的机器，与想「懂情绪」的学科

1990年代中后期，当深度学习还只是少数实验室里的论文主题时，两条研究脉络已经并行生长了多年。

第一条脉络在心理学。1970年代初，Paul Ekman 与 Wallace Friesen 通过跨文化研究提出六种基本情绪（快乐、悲伤、愤怒、恐惧、惊讶、厌恶），为「情绪是否可以被离散分类」提供了重要证据；1978年，他们又系统发布了面部动作编码系统（FACS），用数十个「动作单元」（Action Unit）来描述每一块面部肌肉的运动组合。这套编码体系直到今天仍是表情识别研究中最常用的底层标注语言——机器要理解表情，先要学会用 AU 描述「脸在做什么」。（心理学界对「基本情绪」这一分类本身至今仍有讨论，连续维度的效价—唤醒模型就是另一条重要路线，这并不影响 FACS 作为描述工具的通用性。）

第二条脉络在计算机视觉。1991年，Turk 与 Pentland 提出基于主成分分析的「特征脸」（Eigenfaces）方法，让计算机第一次能用降维后的「平均脸」线性组合来识别人脸身份——虽然对光照、姿态极为敏感，却确立了此后近二十年「人工设计特征 + 统计分类器」的研究范式。1997年，MIT 学者 Rosalind Picard 出版《情感计算》（Affective Computing），正式把「让机器识别、表达并影响情绪」定义为一个独立的学科方向。

而真正让「找脸」从论文变成工程能力的转折点，出现在2001年。

二、特征工程时代：缓慢爬坡的十几年（2004–2011）

2000年代，人脸分析的主流思路仍是「特征工程」：研究者手工设计特征描述子，再交给分类器做判断。

人脸识别方向上，2006年提出的 LBP（局部二值模式）特征用「像素与邻域的比较结果」描述纹理，显著提升了对光照变化的鲁棒性；2007年，LFW（Labeled Faces in the Wild）数据集发布，提供超过1.3万张网络真实图片的人脸对评测，让人脸识别第一次有了接近真实场景的公开基准。然而在 LFW 之上，特征工程方法的准确率长期徘徊在70%–80%区间——真实世界的姿态、遮挡与光照，是手工特征很难翻越的天花板。

表情识别方向上，学术积累主要发生在数据与标注层面：1998年的 JAFFE 表情库、2000年开始构建并于2010年扩展的 CK+ 数据集，以实验室环境下的受试者表情为主，同时提供动作单元（AU）与情绪类别两种标注。研究者尝试用 Gabor 小波、LBP 等特征描述面部形变，再结合 SVM 等分类器做 AU 检测与表情分类——在受控数据集上效果尚可，一旦离开实验室环境，性能便明显下降。

这个阶段留给行业最重要的遗产，不是某一种特征，而是一套「公开数据集 + 统一评测」的研究范式。它后来被证明是计算机视觉每次跃迁的共同前提。

三、深度学习分水岭：人脸识别成熟，表情识别跃升（2012–2018）

2012年，AlexNet 以远超此前方法的成绩拿下 ImageNet 图像分类挑战赛冠军，宣告了深度卷积神经网络（CNN）时代的开始。此后数年，人脸相关任务逐一被重写。

3.1 人脸识别：从实验室走向大规模商用

2014年，Facebook 的 DeepFace 在 LFW 上达到 97.35%，接近人类水平；2015年，Google 的 FaceNet 用三元组损失把同一指标推到 99.63%；2018年前后，以角度间隔（如 ArcFace）为代表的一批损失函数进一步压缩类内距离、放大类间距离，使人脸识别在 LFW 等公开基准上稳定超过 99%。与此同时，识别从「比对两张照片」走向「万级底库检索」，2010年代后期起，刷脸支付、通行门禁、智慧安防等场景开始大规模商用。

背后的关键转变是：特征不再由人设计，而是由数据学习。海量人脸数据加上「度量学习」式的训练目标，让模型自动学到了远比手工特征更鲁棒的身份表征。

3.2 表情识别：从实验室走向真实场景

同样的逻辑也发生在表情识别上。CNN 可以直接从人脸图像中端到端地学习表情表征，不再依赖 Gabor、LBP 之类的手工特征。2017年，AffectNet 等大规模标注数据集发布——包含数十万张人工标注的真实场景人脸图像，让模型第一次有机会在「野外」数据上学到表情的多样性与上下文信息。

需要客观指出的是：人脸表情识别（识别刻意表露的表情）与情感理解并不等价。表情可以被表演、被抑制，文化差异也会影响表达方式。这也是为什么单靠「识别表情类别」很难支撑真正的情感交互——它只是情感理解的第一层。

四、微表情：更短、更隐蔽、更难（1966–至今）

如果说普通表情是「说给你听」的，微表情更像是「没忍住露出来」的。1966年，Haggard 与 Isaacs 在心理治疗录像中第一次注意到这种一闪而过的面部反应；1969年，Ekman 与 Friesen 将其系统化命名为「微表情」（micro-expression），并假设它与个体试图压抑的真实情绪有关。需要强调的是，围绕微表情的测谎应用在学术界一直存在争议，证据强度并不支持「看脸断真假」的朴素想象——但作为情绪信号研究，它的价值是独立的。

从工程角度看，微表情识别比宏表情（普通表情）困难得多：

• 持续时间极短：典型微表情仅持续约 1/25 秒到 1/3 秒，而宏表情通常持续 0.5 秒到数秒，容易在单帧层面被漏检；
• 强度微弱：动作幅度小，叠加在正常面部活动之上，肉眼与普通算法都难以捕捉；
• 数据稀缺：自发性微表情难以在实验室诱发，标注又极其昂贵，因此公开数据集规模很小——CASME（2013）、CASME II（2014）、SAMM（2016）等主流数据集的样本量都只有数百段，与宏表情动辄数万、数十万的规模不在一个数量级；
• 方法演进：早期研究多用 LBP-TOP 等时空纹理特征，2015年前后，光流（optical flow）方法成为主流——通过估计面部区域像素的微小运动，捕捉表情「发动到收回」的动力学过程；近年来，深度学习与光流、运动放大等手段的结合，进一步提升了在微弱动作上的敏感度。2018年起出现的微表情国际评测（MEGC），为这一方向建立了初步的统一基准。

诚实地说，微表情识别目前仍处于「研究向工程过渡」的阶段——它最大的价值在于提供宏表情之外的另一路信号：当一个人刻意维持平静时，微表情与声学线索往往能补充真实情绪的证据。

五、从脸到声音：多模态情绪感知（2010年代至今）

面部表情并非情绪唯一的出口。声音同样携带大量情感信息：语速、基频、音量、节奏这些「怎么说」的副语言特征，在很多时候比「说什么」更诚实。语音情感识别（SER）研究从2010年代起借助 INTERSPEECH 等学术会议的系列副语言挑战赛持续积累基线；2011年启动的音视频情感挑战赛（AVEC）则把面部与语音放在同一个任务里，推动了音视频双模态方法的成熟，RECOLA 等自然交互语料也为此提供了更接近真实对话的训练素材。

多模态的价值在于互补：摄像头被遮挡或角度不佳时，麦克风仍能采集情绪线索；面部表情可以被刻意控制，声学韵律同样可以伪装，但两种信号同时被完美控制的难度远大于单一模态。近年来，以自监督预训练为代表的语音模型（如2020年的 wav2vec 2.0）为声学表征提供了更强大的起点，多模态融合的路线在鲁棒性上持续优于任何单模态方案。

六、端侧推理：情感 AI 走向本体的最后一块拼图（2017至今）

识别算法成熟之后，剩下的问题是「在哪里跑」。把每一帧画面和每一段语音都上传云端分析，延迟、带宽与隐私成本都不可接受——尤其当 AI 要装进一台需要实时回应的机器人本体时。

2017年前后，主流手机 SoC 开始集成专用神经网络处理单元（NPU），端侧推理的算力门槛被第一次大幅拉低；与此同时，模型量化（如 INT8）、剪枝、知识蒸馏等压缩技术日趋成熟，TensorFlow Lite、ONNX Runtime 等轻量运行时让 CNN 在单板计算机与嵌入式设备上成为现实。树莓派这类低成本单板平台配合神经加速模组，已经能够承载实时的人脸检测与表情分析。

这条趋势的含义很明确：情感感知正在从「云端离线分析」走向「本机实时响应」——而这正是它成为机器人、智能终端等具身设备标准能力的前提。

七、结语：30年技术简史的三点启示

回望这条三十年左右的演进线，可以看到三个反复出现的规律：

• 数据与评测决定节奏：LFW 催熟了人脸识别，AffectNet 推动了野外表情识别，而微表情至今受限于数据规模——数据标注是瓶颈，也恰恰是后来者的机会；
• 单模态存在天花板，多模态是必经之路：表情可以克制，声音可以修饰，但两者的交叉验证很难被同时欺骗——鲁棒的情感理解一定来自多信号融合；
• 落地的胜负手在端侧：实时、隐私、低成本，决定了情感感知能否真正装进设备、走进真实交互。

人脸检测用了十年从论文走进产品，人脸识别又用十年完成了同样的旅程。如今，情感理解正沿着同一条路径走到相似的位置：算法基本就绪、数据仍在积累、端侧算力已经够用——区别只在于，这一次的终点不是「认出你是谁」，而是「明白你此刻的感受」。

这正是我们在这个系列里反复强调的判断：情感理解是具身智能的下一程。让机器人读懂人心，不是科幻电影的桥段，而是三十年技术积累的自然延伸——而这一程，才刚刚开始。