机器学习理解上最新案例：“以貌取物”与“以貌取书”（附下载）

【新智元导读】 本文介绍 MIT Technology Review 最近报道了关于机器学习的两项研究成果：让机器学会对人产生“第一印象”、能凭借书的封面判断内容。这两项研究对于增强机器“智能”有很大启示。

机器视觉算法学会“以貌取人”

社会心理学家很早就发现，人们能在一瞬间对一个人作出评价，所依据的仅仅是对方的外表，特别是面容。我们使用这些评价来判定初次见面的人是否值得信任，是否聪明，是支配型还是社交型，是否幽默等等。

这些判断可能正确，也可能不正确，而且一点也不客观，但它们具有一致性。在同一情形下让不同的人评价同一张脸，人们往往会给出一致的评价。

这就引出了一种有趣的可能性。机器视觉和人脸识别的快速进步已经让计算机能够识别各种各样的人脸表情，甚至能够评价脸的迷人程度。那么是否也能让机器看一张脸，然后像人类那样得出对脸的第一印象呢？

对这个问题，美国圣母大学的研究者 Mel McCurrie 等人最近得出了肯定的答案。他们训练的机器学习算法让机器能够像人类一样“以貌取人”，判断一张脸是否值得信任，是否强势，等等。

他们的方法相当直截了当。对任何机器学习过程来说第一步都是创建训练算法的数据集。在这里数据集是一系列已被标注人们的主观评价的人脸照片——值得信任、支配型、聪明，等等。McCurrie 等人利用一个叫 TestMyBrain.org 的网站来建数据集，这是一个很受欢迎的心理测试网站，拥有超过160万参与者。

该团队让参与者对6300张人脸的黑白照片进行评判，每张脸都由32个人评判其可信任性和支配性，另外15人评判其智商和年龄。

有意思的是，这些评价都没有客观答案——这个测试仅仅代表评价者的主观印象。当然，我们可以知道准确的年龄，也可以测试IQ，从而得出人们的主观印象是否准确。但 McCurrie 等人对此不感兴趣。他们想知道的是人对照片里的脸的第一印象，然后训练机器重现相同的结果。

收集到数据后，团队用6000张照片来训练他们的机器视觉算法，用另外200张照片来做机器视觉参数的微调。所有这些训练都是为了让机器学会用与人类一样的方式来评价脸。

MaCurre 等人用剩下的100张照片来测试机器视觉算法，也就是说，测试机器能否和人类作出同样的评价。

结果相当有趣。机器再现了它从人类那里学到的行为。当呈现给它一张脸的照片时，机器对其的评判几乎与人类一样——一样的可信任性、支配性、年龄和IQ。

该研究还发现了机器是如何评判人的，譬如，机器针对人脸的哪个部位来做评价。这是通过在让机器做评价时盖住照片中脸的某些部位做到的。如果盖住后的评价结果与没有盖住的结果非常不同，就可认为这个部分非常重要。这样，研究者可以知道机器在评价时依据的是脸的哪些部分。

有意思的是，这也与人类评价时依据的部位相似。社会心理学家发现人们在评估另一个人是否可信任时倾向于看嘴，而眉头低垂通常表示支配性强。而这些也正是机器视觉算法从训练数据中学到的。

这些引出了一系列有趣的应用。研究者首先把它应用于演艺界，他们让机器先根据爱德华·斯诺登和朱利安·阿桑奇两人的照片来评价，然后再让机器评价在电影中分别饰演他们的两位演员。结果显示机器对两位演员和两位本人的评价很相似，可信任性都很低，这表明了电影选角准确，演员与他们饰演的角色有一致的特性。

研究团队还将该算法应用到电影的各个场景，了解机器对角色的评价如何随着时间改变，这也为了解人们的感觉变化提供了一种衡量方法。这样的观察方式也可应用于研究、市场营销、政治活动等等。

这一研究有助于理解人们对他人产生先入之见的原因，以前这种了解都依赖于微妙的社会线索。另外，让机器人预测和复制这种人类对他人形成第一印象的行为也成为可能。这项研究一个有趣的推论在于，它将如何影响人类行为？如果某人知道他们的某个脸部特征被视为不可信任，他可能通过改变面部表情等办法尽力去改变这种印象。

原文链接：https://www.technologyreview.com/s/602762/machine-vision-algorithm-learns-to-judge-people-by-their-faces/（含论文）

深度神经网络学会看“以貌取书”

书的封面对判断一本书的内容或主题非常重要，读者常常根据一本书的封面决定是否要拿起它阅读。而且，人们在根据封面来判断内容方面往往天赋惊人，即使不看标题只看封面通常就能判断一本书是旅行书、美食书还是人物传记。我们已经报道机器学习算法能够以貌取人，那么，机器能不能“以貌取书”呢？答案是肯定的。

日本九州大学的研究者通过训练深度神经网络，让机器能根据一本书的封面判断其类型。他们的方法也相当直截了当。他们从亚马逊网店下载了137788本书的封面，并根据亚马逊对该书的分类标注，如果网店中该书被分到多个类别，只取第一个。然后，他们用80%的封面作为训练数据集来训练神经网络通过封面识别流派。该神经网络有四层，每层有512个神经元。他们接着用另外10%的封面验证模型，最后用剩下的10%封面做测试。

结果显示，有40%的几率模型能够将正确的类型列在前三个选项，20%的时候模型能识别出完全正确的书籍类型。这个结果显然比随机估计的准确率高。其中某些类型的书籍更容易识别，例如旅行书、美食书和计算机技术类书籍。尤其当美食书使用食物做封面时识别正确率很高，但当美食书使用厨师的照片做封面，模型就常常辨认错误。模型也对传记和回忆录类的书籍很棘手，常常把它们识别为历史类书籍。

该研究的短板之一是没有把人类的识别能力和算法做比较。我们现在尚不知道机器在这项任务上是否比人类更好，但可以确定的是，不管人类看封面识书的能力多厉害，机器赶超人类只是时间的问题。这项研究对书籍封面设计者来说也相当有趣，让他们能够参考算法的判断改善封面设计。待模型准确率更高，训练机器来设计封面也是不错的想法。

原文链接：https://www.technologyreview.com/s/602807/deep-neural-network-learns-to-judge-books-by-their-covers/ （内附论文）