读心:情感计算步步进入商业调研领域

现在,在理解、存储海量信息方面,机器似乎越来越高能了——但是它们和以前一样,在情感方面却没什么进展。不过,从 1990 年代以来,一小部分研究者致力于让计算机能够用人类方式去解读情感和反应。语音专家让计算机学会辨认音高、节奏和音强;他们研发的软件可以通过扫描一段女人和孩子间的对话,来判断这个女人是不是母亲,她是不是看着孩子的眼睛进行对话,以及她是生气、沮丧还是开心。其他计算机可以通过判断我们的语序,解读我们各种姿势来衡量情绪。还有其他计算机可以通过解读面部表情来实现这一点。

面部是情感交流的器官;研究估计表明,面部表情传达的信息量比语言更多,一些致力于解密面部表情信息的科学家已经取得了巨大的进展。其中最成功的是埃及科学家拉娜•埃我•卡柳比 (Rana el Kaliouby)。她现居波士顿,2009年创办了公司 Affectiva,曾被商业媒体评为发展最快的创业公司之一。事实证明,具有情感反应能力的计算机很有“钱景”。

Affectiva:基于“表情”的公司

Affectiva坐落于马萨诸塞州沃尔瑟姆市,在双行道沿街商业区后的办公园区,是波士顿模仿硅谷而建立的走廊地带的一部分。许多员工都来自麻省理工学院。

在九月份的一次拜访中,卡柳比和我参观了该公司研究的面部表情图,有些是科学图表,有些来自于漫画。卡柳比是计算机科学博士,也和其他成功的程序猿一样,她能轻松理解贝叶斯概率 (Bayesian probability)和隐马尔科夫模型 (hiddenMarkov models)。

同时她又平易近人、情感丰富、待人热情,甚至爱搞笑。麻省理工学院的媒体实验室的前主任弗兰克•莫斯(Frank Moss) 告诉我,她“情商极高”。作为两个孩子的母亲,她在担心科技带来的影响。

卡柳比告诉我:“只要十年,我们就会完全想不起不能对装置皱眉的情景。未来我们皱眉的时候,机器会说:‘噢,你不喜欢这样,对吧?’”然后她拿出了装有Affdex的iPad,这是她公司推出的一款软件,能够追踪四种情感:开心,困惑,惊讶,厌恶。软件每次扫描一个面部表情;如果有很多的话,首先将其逐个分离。然后,识别脸部的主要区域——嘴,鼻子,眼睛,眉毛——将像素点分别归类到每个部位,以简单几何模型渲染特征。

Affdex也扫描肌肤变化的纹理——眼角细纹和眉毛皱纹的分布——并结合可变形点的星系来建立面部详细模型并反馈。辨别面部表情的算法,是通过与之前分析过的无数个表情相比较。“比如,你笑的话,它会实时辨别出你在笑,”卡柳比告诉我。

和这个领域的其他创业公司一样,Affectiva建立在保罗•艾克曼 (Paul Ekman) 的研究成果之上。这位心理学家在六十岁是开始研究并建立了权威的理论体系:至少有六种人类通用的表情。不论性别、年龄和文化背景每个人都会一模一样地这样表现。艾克曼将这些表情分解为46个独立动作,即“动作单元”(action units) 的结合。他汇编了面部动作编码系统(Facial Action Coding System,FACS)——长达五百页的面部动作分类。从动画师到对撒谎的微表情感兴趣的警员,这套系统在学界和专业领域内已被使用了数十年。

计算机比人类更能读懂表情?

通过扫描面部动作单元,在辨别自发的愉悦与社交微笑(socialsmile),以及在区分痛苦是否真实方面,计算机远胜人类。计算机能够判定病人是否情绪压抑。计算机会不知疲惫地运行,能够显示甚至连本人都意识不到的、转瞬即逝的表情。

加利福尼亚大学的研究者玛丽安•巴特利特 (Marian Bartlett),是 Emotient 公司的首席科学家,曾在她的家人聚在一起看电视的时候测试了软件。在一幕低俗喜剧暴力情景出现的时候,单帧画面显示,她的女儿的情绪,由暴怒变换为惊讶,再是大笑。她的女儿都没有意识到一瞬间的不悦——但计算机捕捉到了。最近,在一份同行测评研究报告中,巴特利特的同事证明了扫描微表情,计算机可以预测到:当人们拒绝一笔资金的时候,一瞬间的厌恶表明他们认为这是不公正的,而一瞬间的愤怒预示着拒绝。

卡柳比经常强调,这种技术只能解读表情,解读不了思想,但 Affdex 是被作为一种可靠的情绪推测工具来推广——进入了潜意识领域。该应用发展的可能性非常多样。CBS 在拉斯维加斯的电视城应用了该软件去测试新节目。在 2012 年总统竞选期间,卡柳比的团队使用 Affdex 追踪两百多人观看奥巴马和罗姆尼辩论片段的表情,结果表明程序能以73%正确率判断选民投票结果。Affectiva 与 Skype 的竞争对手 Oovoo,将该程序和视频通话融合。她告诉我:“越来越多的人进行视频会议,但是数据都没能捕捉用以分析。”事实证明,在商业谈判中,使用软件来判定谈话的另一方隐瞒了什么信息。

“情感计算”的由来

卡柳比与她的导师罗莎琳德•皮卡德 (Rosalind Picard) 一起创办了Affectiva。后者是麻省理工学院媒体实验室的教授,她早年的研究成果为公司打下了基础。皮卡德拥有电气工程和计算机科学双学位,于 1990 年加入媒体实验室研究图像压缩技术,但她很快遇到了瓶颈。皮卡德认为,如果计算机能识别图像内容,那么程序就能被改进。但要做到这样不仅仅要有洞察力,还要有前瞻性;和大脑一样,计算机必须要“看懂”,而不仅仅是“看见”;和人脑一样,计算机要会识别物体,然后判定哪个重要。

某一天,皮卡德拿起了理查德•西托威克 (Richard Cytowic)《尝出外形滋味的人》(The Man Who Tasted Shapes),一本关于通感的书。西托威克举例说,部分感知是在大脑边缘系统中处理的。而在神经解剖学中这是原始的部分,主要处理注意力、记忆和情感。注意力和记忆似乎和皮卡德想解决的问题密切相关;而她当时希望,感情是不相干的部分。但当她深入研究神经科学文献,逐渐相信,太少或者太多的感情都会引发不理性的思考。与情感处理相关的脑部受损导致人们丧失了做决定、看见更宏大的图景以及运用常识的能力——而这些都是她想让计算机拥有的。

浩大工程、艰难推进

人脸如同变换中的地貌,有着无数多的微小差异和高度复杂性。不论脸部特征如何,背景、光源、角度如何,人们都能毫不费力解读表情,这简直是一个奇迹。想要让计算机做到相同的事情,程序员得应付无尽的可能性。这些程序需要机器学习,即计算机要在一堆数据中找到找到模式,然后用以解读新的数据。

从开罗,卡柳比联系了一些早期的数据指导团队。艾克曼当时开始将面部动作编码系统自动化,建立能定位离散动作单元的系统。以九十年代的技术,这工作确实很费劲。本科生(或者是艾克曼自己)在设定好的背景下夸张地做表情。“经常会有一点点偏差,然后在处理更多帧的时候错误开始累积。”每十秒钟,他必须重新开始实验。

卡柳比希望建立一个强大到能在真实环境中使用的系统。但当2001年,她在剑桥攻读博士时,她的指导教师和同学都不了解情感计算。“他们很好奇,也很疑惑:为什么你想要研究这个?”在她研究目标报告中,一位观众说让计算机学会解读表情会遭遇的问题,和他患自闭症的兄弟所遇到的困难不相上下。卡柳比并不了解自闭症,于是开始研究,寻找线索。那是,剑桥自闭症研究中心正在进行一项浩大的工程,创建所有人类表情的目录,而这有助于自闭症患者进行社交。不是像艾克曼那样将表情分解为组成部分,研究中心对自然易懂的肖像更感兴趣;在“思考”的主题下,分为担忧,选择,想象,判断和沉思。中心雇佣了六位演员——男女都有,不同年龄层和种族——在摄像机前面表演。二十位评审看每一个片段,只有几乎全体通过才能确定标注表情。在项目的结束,一共识别了412个表情。

卡柳比马上意识到这个目录潜藏着一个前所未有的机会:丰富的、经过验证的数据,极其适合计算机学习。在她完成博士学业前,她已经建立了“读心者”,一个可以在相对无序的情况下追踪几种复杂情绪的程序。当她意识到这个程序的潜能,她想知道是否可以为自闭症患者建立起“情感助听器”。佩戴者需要携带一台小型计算机,耳机,摄像机,用以扫描人的表情。计算机会用轻柔的语调指示合适的行为:继续交谈,还是转移话题。

在完善这个想法的同时,卡柳比得知皮卡德计划参观她的实验室。皮卡德认为卡柳比的系统是最稳定的。两人决心在这方面合作,而美国国家科学基金会给予了将近百万美元来让她们建立原型。

两个女性科学家的无间合作

媒体实验室几乎是发明创造者的避难所。弗兰克•莫斯说,她们两人无间合作。实验室的每个人都戴着小型可穿戴的相机,而皮卡德告诉我:“我们聊了许多关于‘嵌入’的话题。”在回埃及的期间,卡柳比会打电话加入会议。皮卡德记得在一次机器人展示中:“拉娜(卡柳比)通过一个笔记本摄像头还是什么的,加入了Skype,然后我们将摄像头留在地板上去看展示。

在卡柳比专注于“读心者” (MindReader) 软件的同时,皮卡德在测试不同的装置——例如能测试用户崩溃程度的鼠标——尝试通过追踪生理反应来辨别感情。最有潜力的一个 (后来被命名为Q)被绑在身体上,来记录例如皮肤电流传导等等反应。皮卡德一直戴着,基于个人体验写日志来追踪数据。

卡柳比和皮卡德认为她们的系统能互补,并在2007年开始测试一个为行为障碍儿童设计的系统。皮卡德希望她的生物传感器能洞察怒气或其他情感爆发的来源。卡柳比的系统则帮助他们在社会情景中找到方向。

应用于企业需求

当团队在完善“读心者”的时候,卡柳比将软件上传到一个服务器上,企业赞助商可以在那里测试任何他们觉得有趣的实验室产品。出乎她意料的是,这个软件马上成为下载次数最多的一个。百事想知道是否能将其运用于测评顾客偏好习惯。美国银行对自动柜员机测试感兴趣。丰田想知道能将其用于更好地理解驾驶员行为——或许是设计出一个检测驾驶员困倦程度的系统。需求如洪水般涌来——从微软,惠普,雅马哈,本田,吉布森,贺曼,NASA,诺基亚——而卡柳比尽她所能改造了软件,以适应每一个需求。

这些需求太多,以至于压倒了自闭症研究。卡柳比建了一个电子表来记录赞助商需求,然后在2008年11月,她和皮卡德拿着表去找实验室主任莫斯。

卡柳比和皮卡德着手成立一家表情智能领域里的“小IBM”——志在开发一系列基于情感计算的产品的初创公司。政府机构开始询问关于这项技术的事情,但卡柳比告诉我,她拒绝了。一些有关公司利益的事也警醒了他们。我记得有人想把我们的东西放到终端来检测人们,然后我们回到Affectiva,拒绝了他们。我们说,‘我们不干那些——我们对受试者有基本的尊重。’但对一个小公司来说,这实在是太艰难了。有人愿意资助你,但你却拒绝他们。”

“读心者”是基于演员的表情,而非真实行为,因此代码要全部重新编写。2011年,公司在超级碗线上广告中测试,获得了真实情感反应的数据库;后来卡柳比和哈佛商学院的塔莱斯•特谢拉 (Thales Teixeira)教授合作。在一个更加严谨的实验中,为 250 名受试者播放广告。Affectiva 的 CEO 大卫•伯曼 (David Berman),曾是一位销售人员,将公司从辅助科技的方向扭转到市场研究,因此吸引了数百万美元的风投。

“我们的CEO完全不适应医药领域,”皮卡德说。于是出现了紧张的局面。四年之后,皮卡德被迫离开团队,她的研究团队也被重新分配。马修•古德温 (Matthew Goodwin) 是公司的元老级研究员,现在是技术委员会的一员,告诉我:“我们以一系列极有竞争力的产品开始。它们能有效协助那些在察觉情感、产生情感方面有困难的人们。然后它们开始只强调并且,在广告上发力,去预测顾客是否喜欢产品,完全偏离了原来的方向。”

对于皮卡德的离去,卡柳比十分沮丧。但是公司新的契机确实不能否认。2011年3月,她和团队受邀向MillwardBrown(全球市场调研公司)高层展示“读心者”。卡柳比很坦诚地谈及系统的限制——软件仍然不能有效区分微笑和鬼脸——但高层人员还是大受震动。广告测试经常需要依靠大范围研究,经常涉及理性思考,而不是无意识或者潜意识的情感。而正是这种情感因素让市场人员非常感兴趣;高科技能带来好的结果。一年前,MillwardBrown 组建了神经科学团队,尝试将脑电图科技加入到工作中。并且也雇佣了艾克曼系统的专家来研究视频。但这些理念被证实无法继续推进了。而公司管理层提出:早先公司研究过四个广告,如果Affdex能成功测量人们的对这些广告的情感反应公司将成为顾客以及投资者。“赌注如此之大,”卡柳比告诉我:“我记得CEO 说,‘我们全部希望都在这上面了。’”

MillwardBrown 选择的广告中有一个是多芬。名为“冲击”,短片以一个小女孩的图片开头。而接着镜头切换到了主人公视角,一大波影像向她涌来——将女人一生的经典画面压缩到了32秒——还是以天真的小女孩为结尾,配着广告语“在美容产品影响你的女儿之前,和她谈谈心吧。”该广告广受好评,但是调查中发现许多人觉得没办法耐着性子看完。Affdex扫描了超过一百位受试者,检测到了相同的反应。但同时它也发现了在某一瞬间这种不适感消失了。“这款软件能告诉我们看不见的信息,”MillwardBrown 高层格拉汉姆•佩奇这样说。“人们常常无法说清此类细节。而当涉及到负面内容时,他们倾向于表现得礼貌。”MillwardBrown母公司 WPP 给Affectvia投资了450万美元。

很快,Affdex应用到每年数千的广告测试中去。

来源:原文来自 New Yorker,虎嗅网编译

原文发布于微信公众号 - 数据的力量(shujudeliliang)

原文发表时间:2015-01-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据架构师专家

揭秘面试中的那些你不知道隐含说法

1011
来自专栏PPV课数据科学社区

【聚焦】2015年最热门的职业:关于数据科学家的概念、职责、技能素养和学习资源完全手册

编者按:本文由SocialBeta根据一亩三分地Warald (Email: iamxiaoning@gmail.com; 博客: http://www.1po...

4099
来自专栏数据的力量

剑桥大学:语言和写作决定人生发展的潜力

那些历史上的名人不必多提,只说在平时的生活中随处可见的:去学院餐厅吃饭,对面坐过来一位长者,英国人,已经90岁,一口流利的汉语,说自己1947年曾在北平工作,后...

1593
来自专栏程序员笔记

概念化游戏

1846
来自专栏PPV课数据科学社区

真相:你被过滤泡泡包围了

? 一个月前,《连线》杂志的撰稿人马特•霍楠(Mat Honan)在Facebook信息流里做了一个试验:依次对他喜欢的、讨厌的甚至痛恨的内容点赞,看会出现什...

3225
来自专栏新智元

谢源:计算存储一体化,在存储里做深度学习,架构创新实现下一代AI芯片

演讲嘉宾:谢源,UCSB教授,IEEE Fellow 【新智元导读】新智元AI WORLD 2017 世界人工智能大会,加州大学圣芭芭拉分校教授谢源发表了演讲《...

49913
来自专栏大数据文摘

情感计算步步进入商业调研领域

1352
来自专栏新智元

硅谷专家解答人工智能 6 个最火爆问题(AI的最大秘密和下个研究中心等)

Siri 的共同创立者 Cheyer 说,在做 Siri 的时候经历了一些有趣的事:当把 Start Over 输入的时候,系统却开始寻找路易安娜的 Ov...

3354
来自专栏我就是马云飞

在腾讯的八年,我的职业思考

我从来没有想过自己会在同一家公司工作8年。因为4年足以读完大学,6年能让小孩读完小学,8年漫长得不可思议。

1878
来自专栏腾讯社交用户体验设计

看人识人 - 设计师辅技手册(二)

1383

扫码关注云+社区

领取腾讯云代金券