业界 | 全球最权威人脸识别测试,中国团队依图科技夺得第一

机器之心报道

作者:吴欣

在最近公布的国际权威人脸识别供应商测试 FRVT(Face Recognition Vendor Test)结果中,中国公司依图科技获得了四项测试的第一名,超过了俄罗斯公司 Vocord(Vocord 是国际老牌安防厂商,长久以来超越 Google 等公司盘踞人脸识别算法第一名)。

FRVT 是由美国国家标准技术局 NIST(National Institute of Standards and Technology) 组织的人脸识别供应商测试,作为美国国家采购的官方指导,其测试的权威性是全球工业界实际应用的黄金标准。

FRVT 的人脸识别测试集合来自美国国土安全局的真实业务场景,例如出入境、刑侦过程中收集的大量照片。与时下热门的由学术机构举办的 LFW、MegaFace 测试相比,FRVT 更贴近实战,测试规模更大,不仅拥有百万量级测试数据,同时这些测试数据均不公开,有效避免算法过拟合甚至是作弊手段。

表一:主流的人脸识别测试场景、测试集、指标比较

表二: 在三个测试集上代表厂商成绩比较。安防厂商海康威视未发布公开测试成绩。

LFW 是由美国马萨诸塞大学发布并维护的公开人脸数据集,测试数据规模为万,国内多个团队例如百度、腾讯、大华、旷视、商汤都曾获得了 99.5% 以上的成绩。

MegaFace 是由美国华盛顿大学发布并维护的公开人脸数据集,测试规模比 LFW 大 100 倍,更能区分各个算法的性能差异。第一名是创立于 1999 年的老牌俄罗斯公司 Vocord,获得 91.7% 的成绩,比第二名腾讯优图高出 8%。

在顶级的竞争中,数据和计算的优势并不能保证输出最优秀的算法性能。

由美国国家标准技术局(NIST)主持的 FRVT,除了主持机构的权威性外,测试结果的权威性还来自其评测的严谨和全面性:

1、数据均来自真实业务场景,测试结果好则代表该技术可以在实战场景中直接应用。

2、数据规模是通过对百亿对样本采样,达到百万量级。如此大规模的测试集可以稳定评估算法性能,详细区分不同算法的优劣。

3、测试数据不公开 (盲测),这保证了测试的公正性。因为参赛的算法团队无法利用测试数据做模型训练,可以有效避免过拟合或直接作弊等手段,因此相对于 LFW、MegaFace 而言,FRVT 则更能体现测试的公正性。

4、科学专业性,FRVT 对不同实战场景、人种、年龄、性别,做了详细分解下的识别性能比较,并在模型速度、特征库大小、比对阈值等做了详细评估。

据官方最新发布的报告,FRVT 的第一名是中国公司依图科技,在千万分之一误报下(采样百亿对样本)的准确率为 95.5%,比第二名俄罗斯公司Vocord 93.5%的准确率高出 2%。这是目前为止全球公开的、最大规模测试集、最权威测试指标下的最好成绩,比2014年参与同样测试的第一名日本公司NEC在准确率上有大幅提高。

NIST 针对测试作了不同场景、不同人种、不同性别、不同年龄的识别性能比较。从 FRVT 的官方描述来看,其提供的测试数据对应了出入境管理、身份门禁认证、平安城市监控等实战应用场景,依图在四项主要的测试场景中均获得第一名。

在更详细的人种(黑人、白人、亚洲人等)、性别比较中,依图的算法表现几乎没有差异;而其他算法随着识别难度增加,识别率出现了不同程度的较大降低。对比结果说明依图的算法可以在不同类型数据分布的实用场景中,例如黑人较多的场景下,算法也可有稳定表现。

具体报告来源于 Ongoing FRVT 2017.6.19 报告(点击阅读原文查看次报告)。

智能万倍增长

过去四年,从 LFW 到 FRVT,测试指标已经从千分之一误报到千万分之一误报,识别性能已经提高一万倍,意味着误报降低万倍。可以预见,很快就会出现测试指标在亿分之一、十亿分之一、百亿分之一误报下的识别性能比较,这将是另一个千倍的智能识别能力的增长。

可以想象,在十亿级超大规模比对、十亿分之一超低误报下的高识别性能,意味着智能技术将解锁更多的应用场景,从楼宇建筑到城市量级,甚至多城联动,再到全国范围内的人脸比对、安防布控都将成为可能。

机器之心就此事特别采访了依图科技 CEO 朱珑,朱珑说:「NIST 是工业界最权威的测试,有最直接的应用指导价值。从测试的结果来说,有两个意义: 我们可以平静的接受,来自中国的算法技术超过全球的竞争对手;更大的意义在于,掌握标准制定话语权和实际全球影响力的美国国家标准技术局,已经显得『没见过世面』,千万分之一的误报下的识别率并不能拉开我们和第二名的差距,我们的算法已经在 10 亿分之一的误报下达到超过 90% 的识别率。希望将来,国际主流学术机构能接受,只有中国参与的标准测试,才反映全球最前沿的技术理解。」

本文为机器之心报道,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-07-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

大数据分析的光荣与陷阱——从谷歌流感趋势谈起

本文从谷歌流感趋势2009年前后表现差异谈起,讨论了大数据分析容易面临的大数据自大、算法演化、看不见的动机导致数据生成机制变化等陷阱,以及对我国大数据产业发展的...

1212
来自专栏AI科技评论

英国东安格利亚大学邵岭:为什么说BMVC是一场被低估的CV会议?

过去一年间,在多个计算机科学领域的顶会上,从论文发表数、论文影响力、获奖情况上来看,华人力量正在逐渐崛起。而除了在论文上的曝光度越来越高,我们还发现,越来越多的...

5386
来自专栏AI科技评论

动态 | 一文展示全球机器学习人才库,周志华张钹为国内领军代表

2018 年 3 月,AMiner 发布机器学习人才库。本次发布统计了机器学习领域全球中有影响力的学者及其团队共计 605 人。

1253
来自专栏人工智能

周涛:走出人工智能误区 全力迎接智能时代

12月22日有两件事儿,一件是冬至,另一件是北向峰会。在太阳直射地面的位置到达一年的最南端的这一天,第三届北向峰会正式召开,启明星辰集团助理总裁、核心研究院院长...

2158
来自专栏吉浦迅科技

NVIDIA CEO黄仁勋:智能工业革命

序言:过去六周以来,我们为NVIDIA的开发者举办了世界巡回会议。GTC技术大会(GPU Technology Conference)从2009年开始举办,目的...

3739
来自专栏企鹅号快讯

论循证新闻的方法与意义——一种媒体融合背景下新闻生产方式创新

摘要: 本文由北京日报社党组书记、社长傅华撰写。作者认为,完整意义上的循证新闻不仅仅是对数据挖掘、背景调查或逻辑证明的单独运用,它更追求综合采纳上述方法和工具,...

2007
来自专栏镁客网

热点 | 生物识别新进展:大脑“功能指纹”,还将用于精神治疗

据报道,继指纹、人脸、基因识别等生物识别技术之后,最近有一项新的识别技术被研发出,被研究人员称之为“功能指纹”(functional fingerprint)。...

882
来自专栏华章科技

全球高校计算机专业排名出炉:上海交大排名27,清华位列31

CSranking的排名主要依据各个大学院系在计算机领域的顶级学术会议发表的论文数量来衡量。

964
来自专栏腾讯高校合作

Make AI Everywhere,腾讯AI亮相AAAI-17国际会议

AAAI,中国力量在崛起 AAAI是人工智能领域的最主要学术组织之一,它由计算机科学和人工智能的创始人 Allen Newell, Marvin Minsky和...

3897
来自专栏腾讯高校合作

以“犀牛鸟的名义”,为青年学者点赞

2016年度CCF-腾讯犀牛鸟基金共计支持18项科研基金,22项创意基金。在过去的一年中,基金获奖者与腾讯研发团队在前沿科技领域的开展深入合作。 双方根据共同关...

3205

扫码关注云+社区

领取腾讯云代金券