凭一张照片找到视频中你所有的镜头,包括背影丨商汤ECCV 2018论文

伊瓢 发自 凹非寺 量子位 报道 | 公众号 QbitAI

商汤最近发了一篇ECCV,搞了一个巨大的电影片段数据库。

别担心,商汤可不是准备拍电影,而是提出了新的视频找人方法——也就是,无论一位电影明星演的是青春少女还是白发老人,无论TA露出了正脸还是侧颜,无论影片的镜头明亮鲜丽还是灰黄暗淡,AI都能精确的找到TA,TA的正脸、身姿和背影

除了统计电影明星的出镜率,视频找人最主要的作用是抓罪犯,比如我国知名除暴安良艺术家张学友老师(的演唱会上的警察用的AI)就十分擅长这个技能。

像演唱会这种公共场合,无数摄像头采集下了现场几乎所有的场景,而出没在演唱会的犯罪嫌疑人也难逃一拍,如果AI找到视频中犯罪嫌疑人的脸,警察叔叔可以当场迅速出动,拿下这名犯罪嫌疑人。

不过,研究人员并不认得那么多逃犯,也不能从警察叔叔那里要监控视频,于是,他们机智的想到了电影明星——创建了一个名为Cast Search in Movies(CSM)的数据集,其中包含来自192部电影1218个演员12.7万个片段,所有片段的标识都是手动注释的,并且每个演员身份还附带参考照片。

请自行辨认CSM数据集里的他们是谁

数据集中包含每位演员在多部电影里出演的角色。如果一部电影的角色太多,就只保留10个最主要的角色。

整体来看,比较一下其他数据集,CSM至少在数量上十分领先了,还可以执行搜索任务。

不过,由于数据库是电影明星和电影中的角色,现代电影工业复杂的服化道系统可能要把这个AI刁难一下了,毕竟,化妆技术可以把30岁的演员变成16岁的小萝莉,也能变成50岁的老阿姨。

“坚强女主”VS“恶毒贵妃”竟然是同一个人?

所以,要如何保证AI可以识别出这些和真人相貌差别巨大的角色呢?需要用到竞争共识(Competitive Consensus)的方法。

上面这张图,展示了竞争共识和传统的现行扩散方法在标签传播上的差异。

图中(左侧)展示了神经网络的四个节点,旁边的数字是它们的概率向量。我们需要从左侧节点向右侧节点传播标签,但是还有两个邻居节点是噪声。

右边是线性扩散和竞争共识的计算过程。可以看到,在噪声很多的图中,以传播最确信信息为目标的竞争共识更健壮。

竞争共识处理的结果不错,已有的跨视频搜索人物的方法,mAP最高为42.16%,而本篇论文中的新方法将mAP提高到了62.27%。

同一演员扮演的角色,无论正面、侧面还是反面,无论扮靓还是扮酷,该系统都成功的把他们认了出来。

比如,在《复仇》中饰演Victoria Grayson的女演员玛德琳·斯托:

数据集中,不管是正脸:

还是挡脸,都可以识别出来。

甚至背影都能认出来。

具体效果可以看下面的视频:

视频内容

作者

这篇论文的三位作者中,除了大家熟悉的商汤科技联合创始人林达华大牛之外,一作是林达华的学生,香港中文大学-商汤科技联合实验室的博士生黄青虬;二作是商汤科技研究院高级研究员刘文韬。

传送门

Person Search in Videos with One Portrait Through Visual and Temporal Links Qingqiu Huang, Wentao Liu, 林达华 arXiv: https://arxiv.org/abs/1807.10510 github: https://github.com/hqqasw/person-search-PPCC

不过,数据集的链接目前还是“coming soon”的状态。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-08-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏BestSDK

如何用深度学习来识别恶意软件

这是一个悲伤的故事,你可能经历过。 你又热又渴,看到桌子上有一瓶看起来像水的东西,来不及思考,揭开瓶盖喝了一大口。哦!漏!是油! 时间回到10秒前,我们重来一次...

3149
来自专栏奇点大数据

遗传算法(1)

与其说遗传算法是一个算法,不如说是一种处理问题的思想方式更为恰当,因为遗传算法整个体系说来说去都是在说对于一种问题处理的思路和原则,而不是一个具体的代码编写过...

4417
来自专栏龙行天下CSIEM

科学瞎想系列之六十二 磁悬浮

所谓悬浮就是上不着天、下不着地、哪也不挨、悬在半空,磁悬浮就是利用磁场的作用力使物体上不着天下不着地。磁悬浮技术主要被用做有相对运动的两个物体之间,避免运...

2666
来自专栏Data Analysis & Viz

乱炖“简书交友”数据之代码(2)

继续更新出来本系列的代码:乱炖数据之2700余篇“简书交友”专题文章数据的花式玩法

1063
来自专栏新智元

邓侃解读:医疗关键数据时间序列敏感度分析的通用方法

---- 新智元专栏 作者:邓侃 【新智元导读】密歇根州立大学、康奈尔大学腾讯研究院的几位学者,联名发表了一篇题为 “Identify Suscept...

3776
来自专栏数据的力量

家有2一10岁孩子的赶紧保存,注意力训练,超有用!

训练目的:训练学生学习能力,能使学生上课专心听讲,认真写作业,考试不粗心,提高学习成绩

1032
来自专栏灯塔大数据

分析 |《狄仁杰之四大天王》影评分析(爬虫+词云+热力图)

作为徐老怪的忠实影迷,《狄仁杰之四大天王》肯定是要去看的,看豆瓣评分和前两部相差不多,但其实作者本人并不是很喜欢前两部,所以在犹豫要不要去看,于是简单去分析了一...

1142
来自专栏大数据文摘

生命之圈:生物数据可视化的美丽新方法

28910
来自专栏腾讯位置服务

距离矩阵服务上线,实现最优派单及路径解决方案

继一对多的距离计算服务后,腾讯位置服务近日再次升级,推出更为强大的距离矩阵(多对多)距离服务。从计算性能上来看,多对多矩阵最高支持25×25矩阵(一次请求计算路...

1772
来自专栏机器人网

为什么要将超声波感应用于无人机

无人机降落辅助是无人机所具有的一项功能,可以检测无人机底部与着陆区域的距离,判定着陆点是否安全,然后缓慢下降到着陆区域。尽管GPS监测、气压传感和其他传感技术有...

1014

扫码关注云+社区