一个八卦的AI,嗅到了你和TA之间基情满满

郭一璞 发自 凹非寺 量子位 报道 | 公众号 QbitAI

人类,天生就有八卦嗅觉。

比如匡扶正义的侦探组合:

就非要YY成CP。

明明是亚瑟王和梅林大法师的中古传奇:

还是要YY成忠仆小法师保护二缺王子的基情故事。

明明是江户时代正经武士:

还是要臆测人家的性取向。

可能是遗传了人类父母的八卦天分,机器们也学会八卦了。一项中山大学人机物智能融合实验室与商汤科技合作的研究,就让机器学会了判断照片中人物的社交关系。

换句话说,把你和你基友或女友的合照拿给AI看,它就可以判断出:

这两个人,关系不一般呦。

同学哪个班的?早恋要叫家长的哦

比如下面这张图:

这三个男人是什么关系?

他们系着领带,旁边摆放着书籍资料,一侧还有电脑的键盘,中间那位笑的那么不自信,肯定是传说中的乙方跪舔甲方了

AI没有那么加戏,淡定的说:professional,职业关系。

毕竟,万一它把老板认错了,那就十分尴尬了。

而在这幅照片中,AI发现主角是两女一男,他们面前有酒瓶,有酒杯,仿佛是朋友在聊天。

但后面不同了,背景居然是一张大床,看来,三位主角是在卧室旁边的阳台上了。

所以AI很淡定的给出了判断:family。

无知者无畏,也不知道这两位女士和一位男士组成了怎样的一个family。不过,AI同学开放的心态值得我们这些车技不好的人类学习。

数据集:人类社交启蒙

既然要让机器理解人类的“基情”,首先就需要一位启蒙者告诉机器:

什么是基情?

鉴于这是一个让人十分难以开口的哲♂学问题,那我们就把这个问题交给数据集老师,反正它们没有意识,下限比较低。

所幸的是,在这项研究之前,就有许多AI和心理学界的老司机对“人与人的关系”这一话题进行过探讨,给我们留下了许多充斥着哲♂理的社交关系探讨,还有成千上万的数据。

比如,心理学研究者Daphne Blunt Bugental在2000年就将人与人的社会关系分为了五个大类和16种关系,并且贡献了社交关系数据集PIPA请注意,是PIPA,不是papi酱。

在后来研究者们的努力后,PIPA有了26915个带注释的人物关系数据。

除了PIPA之外,另一个主要的数据集叫PISC,这可是上世纪的祖传数据集了,是一位名叫艾伦·菲斯克的心理学家,在1992年根据人类的社会层级写了一本书,叫做《社会性的四种基本形式:统一的社会关系理论框架》。

书中定义了3种粗略的社会关系和6种细分的社会关系,作者还顺便搞了PISC数据集,包含22670个图像,标注了覆盖以上九种社交关系的96568对社交关系数据。

感谢这些心理学前辈,让可爱的数据们“教坏”懵懂的AI。

读懂关系:GRM+GGNN

现在,就该模型与神经网络登场了。

研究者们训练了一个图推理模型(Graph Reasoning Model,GRM),由该模型结合门控图神经网络(Gated Graph Neural Network,GGNN)对社会关系进行处理。

研究者们设计了这样一个流程:

GRM根据图上人物区域的特征来初始化关系节点,然后用预先训练的Faster-RCNN探测器搜索图像中的语义对象,并提取其特征,初始化相应的对象节点;

之后GGNN负责计算节点特征,通过图传播节点消息以充分探索人与上下文对象的交互,并采用图注意机制自适应地选择信息量最大的节点,以通过测量每个对象节点的重要性来促进识别。

把物品和关系编织在知识图谱上

最终的研究成果需要变成知识图谱上的结构化数据。

这份知识图谱需要包含两种内容:

社交节点,即酒瓶、床、书籍有社交场景意义的道具;还有社交关系,家人、朋友、同事还是情侣。

通过特征向量计算后,逐步优化,在PISC数据集的基础上,研究者得出了类似下面这样知识图谱:

可以看得出,该示例中的社交关系主要涵盖夫妻/情侣、家庭、朋友、职场四种,而照片中可能出现的不同物品则对应着不同的社交关系,比如:

当烤箱出现,那八成是家庭关系;

当键盘出现,那肯定是在办公室;

当汪星人出现,那要么是一家人一起遛狗,要么就是和朋友一起撸狗了;

……

效果

准备好了知识图谱,就可以开始测试研究成果了。

这张图上我们可以看到,人们身边有电脑、水杯、背包、桌椅等物品;

经过知识图谱判断,电脑和背包两个物品十分强烈的指向了工作场景,因此这张图上人们的社交关系被判定为prefessional,像是年轻人像年长的专家请教问题。

而下面这张图上,儿童与成人之间放满了披萨和碗碟,虽然也有水杯、桌椅、书籍这些非明显家庭特征的物品存在,但凭借披萨和碗碟,还有桌子上的肥宅快乐水,图上的三个人这么能吃,一定是一家人。

后来研究者们把测试数据做了一下汇总,整体的成绩高过了此前的研究。

研究者用每类召回率(per-class recall)平均精度(mAP)来判断效果,从数据上来看效果不错。

在PISC数据集上,根据各类的recall,在亲密、非亲密、没关系3个社交关系大类上,研究者的新方法对比旧方法2:1胜;在6种细分社交关系上,新旧方法3:3平手。

与原来的方法相比,这种新方法更擅长识别“朋友”、“职业关系”和“不不不我们什么关系都没有”。

而根据mAP数据,新方法完胜。

PIPA数据集的效果也不差,比该数据集上此前的两个方法都高。

研究者:林倞教授团队

这篇论文有6位作者,其中5位来自中山大学数据科学与计算机学院下属的人机物智能融合实验室,另一位作者是商汤科技研究院研发总监任思捷博士。

论文的共同一作陈添水博士是林倞教授的学生,在实验室官网的人员名单中,他被排在了第一位,估计也是林教授的得意门生了。

其实另一位共同一作Zhouxia Wang也在上面

这已经是陈添水博士的第三篇IJCAI了,此前他还发过两篇AAAI和一篇ICCV,还拿过ICME 2017 World’s FIRST 10K Best Paper Award—Diamond Award。

另外,陈添水博士还在h-index排名183的香港理工大学张磊教授手下做了一年的研究助理。

说到这里,就不得不提一下人机物智能融合实验室教授林倞了,他不仅是这个实验室的负责人,还是商汤科技首席研发总监,入选了第三批国家“万人计划”青年拔尖人才建议人选名单。

林倞教授,图片来自中山大学网站

论文传送门

Deep Reasoning with Knowledge Graph for Social Relationship Understanding 作者:Zhouxia Wang, 陈添水, 任思捷, 余伟浩, 成慧, 林倞 发表于IJCAI 2018 arXiv: https://arxiv.org/abs/1807.00504 github: https://github.com/HCPLab-SYSU/SR

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-07-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

当今世界最NB的25位大数据科学家

引言 在大数据技术飞速发展的今天,谁才是我们大数据科研与工业界中最有威望的科学家呢?下面我们来进行梳理,共罗列了25位当今世界,无论是在学术与工业界都产生巨大影...

49450
来自专栏机器之心

人物 | Geoffrey Hinton的成功之路:从神经网络黑暗时代的坚守到今天的胜利

选自The Globe and Mail 作者:Jeff Gary 机器之心编译 参与:吴攀、黄小天、Ellen Han 深度学习泰斗 Geoffrey Hin...

24440
来自专栏机器学习算法与Python学习

走近Hinton:AI教父传奇人生

三十多年以来,Geoffrey Hinton一直都处于人工智能研究的边缘地带。他像一个局外人一样坚守着一个简单的观点:计算机可以像人类一样,依靠直觉而不是规则进...

10030
来自专栏腾讯高校合作

【CCF-CV特别活动】“CCF-腾讯犀牛鸟沙龙”走进腾讯优图

中国计算机学会计算机视觉专委会走进企业系列交流会 CCF-CV@Industry 腾讯优图·上海 主题:图像识别和多媒体分析技术前沿 时间:2016年5月13日...

57550
来自专栏大数据挖掘DT机器学习

需求与匹配 | 从数据挖掘角度看世纪佳缘推荐系统

昨天看到同事在朋友圈的这篇文章:《佳缘用户推荐系统》,再结合自己之前的几年的推荐系统经验,以及在婚恋网站半年多的经验,来谈谈我眼中的婚恋市场的推荐系统。 如作者...

35250
来自专栏数据科学与人工智能

【陆勤阅读】浅析:数据挖掘从入门到进阶,要看什么书?

做数据挖掘也有些年头了,写这篇文一方面是让我写篇文,朋友作为数据挖掘方面的参考,另一方面也是有抛砖引玉之意,希望能够和一些大牛交流,相互促进,让大家见笑了。 Q...

21570
来自专栏大数据文摘

2017论文回顾 | Yann LeCun:中英日韩语文本分类通用编码机制(附论文下载)

16830
来自专栏专知

走近Hinton:AI教父传奇人生

【导读】Geoffrey Hinton花费了30年的时间默默无闻,直到2012年,他证明了其研究的价值,并驳回了大多数其他科学家所谓的正确观点。如今,这个被称为...

40760
来自专栏腾讯研究院的专栏

何为实在

image.png 推荐语: 霍金的《大设计》(The Grand Design)与其说是本科普读物,莫如说是相关“实在与终极”的著作。过去几千年间,...

25950
来自专栏新智元

精品 | 2016三大深度学习峰会:顶级科学家360度剖析技术重点、应用关键及投资机会

【新智元导读】Re-Work上放出了本年度波士顿、伦敦、柏林的三大深度学习峰会的全部演讲视频,156位行业精英带来精彩演讲,其中包括 Yoshua Bengio...

439190

扫码关注云+社区

领取腾讯云代金券