你的表情出卖了你的心…原来AI是这么盘算你的

作者 | 高春洋

编辑 | 向 玉

还记得上学时来自后门凝视的恐惧吗？

有了 AI，趴后门的班主任老师们终于可以歇了。

两个月前，杭州十一宣布将在教室中装上一套叫做「智慧课堂管理」的监控系统，由 3 个摄像头和一个桌面系统组成。它的监控范围不仅包括你的小动作，甚至还有你的面部表情！

熏疼现在的学生，和老师斗智斗勇，都要在微表情上下功夫了…

有了这套系统辅助，老师眼中的学生是长这样的

谁听得兴趣盎然，谁一脸嫌弃，在系统里全部一目了然。

“李雷同学，你丧着脸是觉得老师讲得不够精彩吗？”

Emmmmm…简直反人类！

你到底有多少种表情？

这套「智慧课堂管理系统」的要义就在于表情识别。

所谓表情识别，就是从静态图像或者动态视频序列中分离出特定的表情状态，从而确定你在认证听课还是开小差。

在「智慧课堂管理系统」中，学生的心理情绪被归为了 7 种表情——中性、高兴、难过/悲伤、愤怒、害怕/恐惧、惊讶和反感/厌恶。

换句话说，把漫画书塞到物理课本后面这招再也不灵了。

摄像头扫视全班，每个人脸上都写满了悲伤与厌恶时，你却一脸春光灿烂…对不起，你的表情出卖了你。

每个表情都有一套对应的面部变化。

比如，物理课的「官方指定表情」可能是这样的：

额头、眉角：眉毛内角皱在一起，抬高，并带动眉毛下方的皮肤

眼睛：眼内角的上眼皮抬高

脸的下半部：同时嘴角下拉，同时可能因为被老师点名回答问题，而产生轻微的嘴角颤抖

根据 Ekman 和 Friesen 在 1971 年创建的人脸表情图像库，这些面部变化对应了典型的「厌恶」表情。

但如果此时摄像头眼中的你：

眉毛稍微下弯

下眼睑下边有皱纹或者鼓起；鱼尾纹从外眼角向外扩张

唇角向后拉并抬高；嘴张大牙齿露出；一道皱纹从鼻子一直延伸到嘴角外部；同时，脸颊被抬起…

AI：别装了，交出物理书后面的手机吧…

根据六种基本表情的面部表情特征定义，我们闲得蛋疼总结出了一份「最科学」的表情包清单：

当然，人的情绪千变万化，表情的复杂程度远不是上面几个模型就能概括的。

针对这个问题，2014 年 PNAS 上的一篇研究中，提出了「复合表情」这个概念，指出多个离散的基础表情能结合在一起，构成复合表情。

比如，遇到物理考试蒙对答案这种意外的惊喜时，你的脸上，很有可能呈现出一种高兴 + 惊讶的表情混合体。大概……酱？

AI 认表情，总共分几步？

表情识别与人脸识别的流程类似，主要分为以下几步：

01

图像预处理

由于图像采集的光线条件和角度差异巨大，因此在开始识别前，系统首先需要对图片进行预处理：图像的大小和灰度归一化，头部姿态矫正，图像分割等。目的是改善图像质量，消除噪声，为后序特征提取和分类识别打好基础。主要包括align, data augment, face normalization等；

02

人脸检测

人脸检测目的是检测出要识别表情的人脸；

03

特征提取

将点阵转化成更高级别图像表述——如形状、运动、颜色、纹理、空间结构等, 在尽可能保证稳定性和识别率的前提下，对庞大的图像数据进行降维处理。主要包括：基于灰度特征的特征提取、基于整体统计特征的特征提取、基于频率域的特征提取、基于运动特征的特征提取。

04

分类辨别

在提取到的特征基础上，识别出目标人脸的具体表情。

教你玩坏表情识别在线 API

听了小编这么长的叨逼叨，你肯定想问，没点技术，难不成我还玩不溜表情识别了？

非也！其实打开你的手机，已经有很多 APP 能在拍照时检测出你的表情和面部特征，比如基于人脸识别的社交软件 PolyGram，还有情绪识别音乐的落网 emo，只是结果…一言难尽。

PolyGram APP 界面

落网emo音乐APP

如果想玩靠谱一点的，有几个开放平台可以来撩。小编一个没忍住，用你们老婆的照片来了波测试，看看各家的结果有何差异。

百度 AI 开放平台

http://ai.baidu.com/tech/face/detect

腾讯优图AI开放平台

http://open.youtu.qq.com/legency/#/face-detect

Face++旷视人工智能开放平台

https://www.faceplusplus.com.cn/face-detection/

微软 Microsoft Azure认知服务开放平台

https://a2zure.microsoft.com/zh-cn/services/cognitive-services/face/

槽点都在这里了，想砸谁家招牌，你们自己决定吧…

表情识别的正确姿势？这里有…

随着我们对于人机间沟通交流需求的提升，表情识别在未来的发展前景无疑十分广阔。目前，国内已经有几十家致力于表情识别研发的公司，他们的技术已经相对成熟，但在将技术落地的过程中却都遇到了不同程度的困扰。

对于不少面临同样困局的 AI 领域初创公司，即将于 9 月在珠海拉开帷幕的中德人工智能大会，或许能带来不少灵感与启迪。

作为中德两国人工智能交流的最层次会议，本届大会的一个重要议题，便是如何促进产学研结合，助力人工智能初创公司的发展。为此，大会邀请到了多位来自德国人工智能研究中心（DFKI）的专家，和众多海内外顶级投资机构代表人参会。

他们将围绕人工智能的未来趋势、技术落地和企业发展，展开经验交流与思想碰撞。大会现场不仅能与产业大咖一对一交流，还将学到德国先进 AI 企业的经验。

此外，会场外，一场集合人工智能、自动驾驶、物联网、机器人科技的黑科技展会也蓄势待发。我会说这里还藏着最最靠谱的表情识别吗？

无论你是想零距离体验最具未来感的前沿科技，或是想为与大咖对话，为企业寻求发展机会，都可以通过大会手机官网报名 http://conference.cgaii.com/invitation/invitation.html ；或者点击链接大会链接了解更多大会详情。

最后友情附上一份【表情识别数据集】，拿走，不谢~

(1) FER2013 : fer2013人脸表情数据集，即Kaggle facial expression recognition challenge dataset，是目前较大的人脸表情识别公开数据库。该数据库共包含35887张人脸图片，其中训练集28709张、验证集3589张、测试集3589张。数据库中的图片均为灰度图片，共七类。

(2) CK : 包括123个subjects, 593 个 image sequence。该数据库由118名受试者录制，在这593个image sequence中，有327个sequence 有 emotion的 label。除了中性外包含7种表情：愤怒、蔑视、厌恶、恐惧、高兴、悲伤和惊讶。

链接：http://www.pitt.edu/~emotion/ck-spread.htm

(3) MMI : 包括32个subjects，326个image sequence。213个sequence 有 emotion的 label。包含6种表情（相比较于CK+没有蔑视），MMI更具挑战性，因为很多人都戴有配饰。

链接：http://mmifacedb.eu/

http://ibug.doc.ic.ac.uk/research/mmi-database/

(4) JAFFE : 包含213副（每幅图像分辨率为256*256）日本女性的脸部图像，包含7种表情。

链接：http://www.kasrl.org/jaffe.html

(5) TFD : 数据库是几个面部表情数据集的集合，TFD包含112234张图片(每张图片被调整到48*48大小)，所有实验对象的眼睛都是相同的距离，包含7种表情。

(6) AFEW : AFEW数据集为Emotion Recognition In The Wild Challenge (EmotiW)系列情感识别挑战赛使用的数据集， 该数据集的内容是从电影中剪辑的包含表情的视频片段，包含7类表情。

(7) SFEW : 该数据集是从AFEW数据集中抽取的有表情的静态帧，包含7类表情。

(8) Multi-PIE : 包含4个场景9种光照条件15个视角下337个subject，总计有755370张图片。包含6种表情（没有蔑视）。

(9) BU-3DFE : 从100个人获取的606个面部表情sequence，包含6种表情（没有蔑视），多用于三维面部表情分析。

(10) Oulu-CASIA : 80个没被标记的subject收集了2880个image sequence。包含6种表情（没有蔑视）。有红外（NIR）和可见光（VIS）两种摄像头在3种不同光照条件下拍摄。

(11) RaFD : 包含67个subject的1608张图片，眼睛有不同的三种注视方向，包括前、左和右，包含7种表情。

链接：http://www.socsci.ru.nl:8180/RaFD2/RaFD?p=main

(12) KDEF : 最初用于医学和心理学研究。数据集来自70个演员从5个角度的6种表情。

链接：http://www.emotionlab.se/kdef/

(13) EmotioNet : 包含从网上收集到的接近100万张面部表情图片。

(14) RAF-DB : 包含从网上收集的29672张面部图像，包含7中基本表情和11种复合表情。

(15) AffectNet : 包含从网上收集的100多万张面部图像，其中45万张图片手工标注为7种表情。