你的表情出卖了你的心…原来AI是这么盘算你的

作者 | 高春洋

编辑 | 向 玉

还记得上学时来自后门凝视的恐惧吗?

有了 AI,趴后门的班主任老师们终于可以歇了。

两个月前,杭州十一宣布将在教室中装上一套叫做「智慧课堂管理」的监控系统,由 3 个摄像头和一个桌面系统组成。它的监控范围不仅包括你的小动作,甚至还有你的面部表情!

熏疼现在的学生,和老师斗智斗勇,都要在微表情上下功夫了…

有了这套系统辅助,老师眼中的学生是长这样的

谁听得兴趣盎然,谁一脸嫌弃,在系统里全部一目了然。

“李雷同学,你丧着脸是觉得老师讲得不够精彩吗?”

Emmmmm…简直反人类!

你到底有多少种表情?

这套「智慧课堂管理系统」的要义就在于表情识别。

所谓表情识别,就是从静态图像或者动态视频序列中分离出特定的表情状态,从而确定你在认证听课还是开小差。

在「智慧课堂管理系统」中,学生的心理情绪被归为了 7 种表情——中性、高兴、难过/悲伤、愤怒、害怕/恐惧、惊讶和反感/厌恶。

换句话说,把漫画书塞到物理课本后面这招再也不灵了。

摄像头扫视全班,每个人脸上都写满了悲伤与厌恶时,你却一脸春光灿烂…对不起,你的表情出卖了你。

每个表情都有一套对应的面部变化。

比如,物理课的「官方指定表情」可能是这样的:

额头、眉角:眉毛内角皱在一起,抬高,并带动眉毛下方的皮肤

眼睛:眼内角的上眼皮抬高

脸的下半部:同时嘴角下拉,同时可能因为被老师点名回答问题,而产生轻微的嘴角颤抖

根据 Ekman 和 Friesen 在 1971 年创建的人脸表情图像库,这些面部变化对应了典型的「厌恶」表情。

但如果此时摄像头眼中的你:

眉毛稍微下弯

下眼睑下边有皱纹或者鼓起;鱼尾纹从外眼角向外扩张

唇角向后拉并抬高;嘴张大牙齿露出;一道皱纹从鼻子一直延伸到嘴角外部;同时,脸颊被抬起…

AI:别装了,交出物理书后面的手机吧…

根据六种基本表情的面部表情特征定义,我们闲得蛋疼总结出了一份「最科学」的表情包清单:

当然,人的情绪千变万化,表情的复杂程度远不是上面几个模型就能概括的。

针对这个问题,2014 年 PNAS 上的一篇研究中,提出了「复合表情」这个概念,指出多个离散的基础表情能结合在一起,构成复合表情。

比如,遇到物理考试蒙对答案这种意外的惊喜时,你的脸上,很有可能呈现出一种高兴 + 惊讶的表情混合体。大概……酱?

AI 认表情,总共分几步?

表情识别与人脸识别的流程类似,主要分为以下几步:

01

图像预处理

由于图像采集的光线条件和角度差异巨大,因此在开始识别前,系统首先需要对图片进行预处理:图像的大小和灰度归一化,头部姿态矫正,图像分割等。目的是改善图像质量,消除噪声,为后序特征提取和分类识别打好基础。主要包括align, data augment, face normalization等;

02

人脸检测

人脸检测目的是检测出要识别表情的人脸;

03

特征提取

将点阵转化成更高级别图像表述——如形状、运动、颜色、纹理、空间结构等, 在尽可能保证稳定性和识别率的前提下,对庞大的图像数据进行降维处理。主要包括:基于灰度特征的特征提取、基于整体统计特征的特征提取、基于频率域的特征提取、基于运动特征的特征提取。

04

分类辨别

在提取到的特征基础上,识别出目标人脸的具体表情。

教你玩坏表情识别在线 API

听了小编这么长的叨逼叨,你肯定想问,没点技术,难不成我还玩不溜表情识别了?

非也!其实打开你的手机,已经有很多 APP 能在拍照时检测出你的表情和面部特征,比如基于人脸识别的社交软件 PolyGram,还有情绪识别音乐的落网 emo,只是结果…一言难尽。

PolyGram APP 界面

落网emo音乐APP

如果想玩靠谱一点的,有几个开放平台可以来撩。小编一个没忍住,用你们老婆的照片来了波测试,看看各家的结果有何差异。

百度 AI 开放平台

http://ai.baidu.com/tech/face/detect

腾讯优图AI开放平台

http://open.youtu.qq.com/legency/#/face-detect

Face++旷视人工智能开放平台

https://www.faceplusplus.com.cn/face-detection/

微软 Microsoft Azure认知服务开放平台

https://a2zure.microsoft.com/zh-cn/services/cognitive-services/face/

槽点都在这里了,想砸谁家招牌,你们自己决定吧…

表情识别的正确姿势?这里有…

随着我们对于人机间沟通交流需求的提升,表情识别在未来的发展前景无疑十分广阔。目前,国内已经有几十家致力于表情识别研发的公司,他们的技术已经相对成熟,但在将技术落地的过程中却都遇到了不同程度的困扰。

对于不少面临同样困局的 AI 领域初创公司,即将于 9 月在珠海拉开帷幕的中德人工智能大会,或许能带来不少灵感与启迪。

作为中德两国人工智能交流的最层次会议,本届大会的一个重要议题,便是如何促进产学研结合,助力人工智能初创公司的发展。为此,大会邀请到了多位来自德国人工智能研究中心(DFKI)的专家,和众多海内外顶级投资机构代表人参会。

他们将围绕人工智能的未来趋势、技术落地和企业发展,展开经验交流与思想碰撞。大会现场不仅能与产业大咖一对一交流,还将学到德国先进 AI 企业的经验。

此外,会场外,一场集合人工智能、自动驾驶、物联网、机器人科技的黑科技展会也蓄势待发。我会说这里还藏着最最靠谱的表情识别吗?

无论你是想零距离体验最具未来感的前沿科技,或是想为与大咖对话,为企业寻求发展机会,都可以通过大会手机官网报名 http://conference.cgaii.com/invitation/invitation.html ;或者点击链接大会链接了解更多大会详情。

最后友情附上一份【表情识别数据集】,拿走,不谢~

(1) FER2013 : fer2013人脸表情数据集,即Kaggle facial expression recognition challenge dataset,是目前较大的人脸表情识别公开数据库。该数据库共包含35887张人脸图片,其中训练集28709张、验证集3589张、测试集3589张。数据库中的图片均为灰度图片,共七类。

(2) CK : 包括123个subjects, 593 个 image sequence。该数据库由118名受试者录制,在这593个image sequence中,有327个sequence 有 emotion的 label。除了中性外包含7种表情:愤怒、蔑视、厌恶、恐惧、高兴、悲伤和惊讶。

链接:http://www.pitt.edu/~emotion/ck-spread.htm

(3) MMI : 包括32个subjects,326个image sequence。213个sequence 有 emotion的 label。包含6种表情(相比较于CK+没有蔑视),MMI更具挑战性,因为很多人都戴有配饰。

链接:http://mmifacedb.eu/

http://ibug.doc.ic.ac.uk/research/mmi-database/

(4) JAFFE : 包含213副(每幅图像分辨率为256*256)日本女性的脸部图像,包含7种表情。

链接:http://www.kasrl.org/jaffe.html

(5) TFD : 数据库是几个面部表情数据集的集合,TFD包含112234张图片(每张图片被调整到48*48大小),所有实验对象的眼睛都是相同的距离,包含7种表情。

(6) AFEW : AFEW数据集为Emotion Recognition In The Wild Challenge (EmotiW)系列情感识别挑战赛使用的数据集, 该数据集的内容是从电影中剪辑的包含表情的视频片段,包含7类表情。

(7) SFEW : 该数据集是从AFEW数据集中抽取的有表情的静态帧,包含7类表情。

(8) Multi-PIE : 包含4个场景9种光照条件15个视角下337个subject,总计有755370张图片。包含6种表情(没有蔑视)。

(9) BU-3DFE : 从100个人获取的606个面部表情sequence,包含6种表情(没有蔑视),多用于三维面部表情分析。

(10) Oulu-CASIA : 80个没被标记的subject收集了2880个image sequence。包含6种表情(没有蔑视)。有红外(NIR)和可见光(VIS)两种摄像头在3种不同光照条件下拍摄。

(11) RaFD : 包含67个subject的1608张图片,眼睛有不同的三种注视方向,包括前、左和右,包含7种表情。

链接:http://www.socsci.ru.nl:8180/RaFD2/RaFD?p=main

(12) KDEF : 最初用于医学和心理学研究。数据集来自70个演员从5个角度的6种表情。

链接:http://www.emotionlab.se/kdef/

(13) EmotioNet : 包含从网上收集到的接近100万张面部表情图片。

(14) RAF-DB : 包含从网上收集的29672张面部图像,包含7中基本表情和11种复合表情。

(15) AffectNet : 包含从网上收集的100多万张面部图像,其中45万张图片手工标注为7种表情。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180823A1HO7300?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券