动态 | 最权威的比赛,看全球人脸识别技术发展格局

AI 科技评论按:在最近公布的国际权威人脸识别供应商测试 FRVT(Face Recognition Vendor Test)结果中,中国公司依图科技获得了四项测试的第一名,超过了俄罗斯公司 Vocord (Vocord是国际老牌安防厂商,长久以来超越Google等公司盘踞人脸识别算法第一名)。

FRVT是由美国国家标准技术局NIST(National Institute of Standards and Technology)组织的人脸识别供应商测试,作为美国国家采购的官方指导,其测试的权威性是全球工业界实际应用的黄金标准。

FRVT的人脸识别测试集合来自美国国土安全局的真实业务场景,例如出入境、刑侦过程中收集的大量照片。与时下热门的由学术机构举办的LFW、MegaFace测试相比, FRVT更贴近实战,测试规模更大,不仅拥有百万量级测试数据,同时这些测试数据均不公开,有效避免算法过拟合甚至是作弊手段。

主办方

场景分布

测试集大小

测试、训练数据 独立性

指标

LFW

美国马萨诸塞大学

互联网明星 照

万易过拟合

测试数据公开; 训练、测试数据独立性不保证

千分之一误报下的识别性能,无法区分不同算法性 能差异

Mega Face

美国华盛顿大学

互联网明星 照

百万

测试数据公开; 训练、测试数据独立性无法保证

百万量级测试集上的首位命中率;可以区分不同算法性能差异

FRV人脸识别供应商测试

美国国家标准技术局 (NIST)

美国官方真实边检、刑侦用数据

百万

测试数据不公开(盲测)

千万分之一误报下的性能(取样百亿对样本),最大的测试规模

表一:主流的人脸识别测试场景、测试集、指标比较

依图科技

Vocord

腾讯优图

大华

百度

Face++

商汤

FRVT

95.5%第一名

93.5%第二名

Mega Face

91.7%第一名

83.3%第二名

LFW

99.8%第二名

99.78%第四名

99.77%第七名

99.5%

99.53%

表二: 在三个测试集上代表厂商成绩比较。安防厂商海康威视未发布公开测试成绩。

LFW是由美国马萨诸塞大学发布并维护的公开人脸数据集,测试数据规模为万,国内多个团队例如百度、腾讯、大华、旷视、商汤都曾获得了99.5%以上的成绩。

MegaFace是由美国华盛顿大学发布并维护的公开人脸数据集,测试规模比LFW大100倍,更能区分各个算法的性能差异。第一名是创立于1999年的老牌俄罗斯公司Vocord,获得91.7%的成绩,比第二名腾讯优图高出8%,优势明显。由此可见,虽然国内大互联网公司拥有超大规模计算算法训练平台、互联网级的数据优势,但离全球顶级的测试结果还有差距。

在顶级的竞争中,数据和计算的优势并不能保证输出最优秀的算法性能

由美国国家标准技术局(NIST)主持的FRVT,除了主持机构的权威性外,测试结果的权威性还来自其评测的严谨和全面性:

1、数据均来自真实业务场景,测试结果好则代表该技术可以在实战场景中直接应用。

2、数据规模是通过对百亿对样本采样,达到百万量级。如此大规模的测试集可以稳定评估算法性能,详细区分不同算法的优劣。

3、测试数据不公开(盲测),这保证了测试的公正性。因为参赛的算法团队无法利用测试数据做模型训练,可以有效避免过拟合或直接作弊等手段,因此相对于LFW、MegaFace而言,FRVT则更能体现测试的公正性。

4、科学专业性,FRVT对不同实战场景、人种、年龄、性别,做了详细分解下的识别性能比较,并在模型速度、特征库大小、比对阈值等做了详细评估。

据官方最新发布的报告,FRVT 的第一名是中国公司依图科技,在千万分之一误报下(采样百亿对样本)的准确率为 95.5%,比第二名俄罗斯公司Vocord 93.5%的准确率高出 2%。这是目前为止全球公开的、最大规模测试集、最权威测试指标下的最好成绩,比2014年参与同样测试的第一名日本公司NEC在准确率上有大幅提高。

NIST针对测试作了不同场景、不同人种、不同性别、不同年龄的识别性能比较。从 FRVT 的官方描述来看,其提供的测试数据对应了出入境管理、身份门禁认证、平安城市监控等实战应用场景,依图在四项主要的测试场景中均获得第一名。

在更详细的人种(黑人、白人、亚洲人等)、性别比较中,依图的算法表现几乎没有差异;而其他算法随着识别难度增加,识别率出现了不同程度的较大降低。对比结果说明依图的算法可以在不同类型数据分布的实用场景中,例如黑人较多的场景下,算法也可有稳定表现。

具体报告来源于Ongoing FRVT 2017.6.19 报告 (链接地址:https://www.nist.gov/sites/default/files/documents/2017/06/20/frvt_report_2017_06_19.pdf)

智能万倍增长

过去四年,从LFW到FRVT,测试指标已经从千分之一误报到千万分之一误报,识别性能已经提高一万倍,意味着误报降低万倍。可以预见,很快就会出现测试指标在亿分之一、十亿分之一、百亿分之一误报下的识别性能比较,这将是另一个千倍的智能识别能力的增长。

可以想象,在十亿级超大规模比对、十亿分之一超低误报下的高识别性能,意味着智能技术将解锁更多的应用场景,从楼宇建筑到城市量级,甚至多城联动,再到全国范围内的人脸比对、安防布控都将成为可能。

我们就此事特别采访了依图科技CEO朱珑,朱珑说:“NIST是工业界最权威的测试,有最直接的应用指导价值。从测试的结果来说,有两个意义: 我们可以平静的接受,来自中国的算法技术超过全球的竞争对手;更大的意义在于,掌握标准制定话语权和实际全球影响力的美国国家标准技术局,已经显得‘没见过世面’,千万分之一的误报下的识别率并不能拉开我们和第二名的差距,我们的算法已经在 10 亿分之一的误报下达到超过90%的识别率。希望将来,国际主流学术机构能接受,只有中国参与的标准测试,才反映全球最前沿的技术理解。”

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-07-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

2018 NAACL语言学习建模竞赛:英语组冠军先声教育展望自适应学习技术

雷锋网 AI 研习社按:第十六届北美计算语言学会议 NAACL 于 6 月初在美国路易斯安那州的新奥尔良召开。NAACL 是自然语言处理与计算语言学领域的顶级学...

642
来自专栏人工智能快报

德国马普与瑞士苏黎世联邦理工学院合建学习系统研究中心

2015年11月30日,瑞士苏黎世联邦理工学院网站发文宣称该院与德国马克斯·普朗克学会(Max Planck Society)正式成立了马普-苏黎世(Max P...

34510
来自专栏AI科技大本营的专栏

深度学习2016年度回顾:三大技术和三大趋势

---- 作者:简·布斯尔克(Jan Bussieck) 编译: AI100 原文地址: http://www.deeplearningweekly.com/b...

30910
来自专栏镁客网

为预测用户出行需求,ofo开始使用AI实现智能调度

1170
来自专栏机器之心

IJCAI 2018所有奖项出炉:AlphaGo获奖,中国研究成果占据半壁江山

2018 年 7 月 13 - 19 日,备受关注的 AI 顶级国际会议 IJCAI 在瑞典斯德哥尔摩举行。伴随着人工智能技术的逐渐升温,本次大会的规模也创了新...

672
来自专栏新智元

2018全球计算机与工程学科排名:MIT夺冠,清华第7,中国23所高校上榜

【新智元导读】日前,世界四大权威大学排名之一的软科正式发布了《2018软科世界一流学科排名》,在计算机科学与工程学科排名中,MIT、斯坦福、CMU位列前三,中国...

342
来自专栏AI科技评论

会议 | CCF NLPCC 2018 自然语言处理与中文计算国际会议

NLPCC 将在 2018 年 8 月 26 日-30 日于内蒙古呼和浩特举行。 ? CCF 自然语言处理与中文计算国际会议 (NLPCC) 是由中国计算机学会...

3935
来自专栏新智元

【AI震撼时间线】通用AI约在2040年出现,2200年地球将达I 型文明

【新智元导读】为什么我们要冲出地球乃至银河系?据科学家估计,到2050年,世界人口将达93亿;1万年后,地球人类灭绝的概率为95%;1万亿年后,太阳将不复存在。...

813
来自专栏量子位

四年一度的菲尔兹奖揭晓,4位数学家折桂

2018年菲尔兹奖8月1日在巴西里约热内卢市举行的第28届国际数学家大会上揭晓,获奖者为伊朗裔数学家Caucher Birkar、意大利数学家Alessio F...

490
来自专栏新智元

IJCAI最佳论文重磅出炉!中国人论文占46%,华人一作近2/3

【新智元导读】IJCAI最佳论文公布!本届会议华人表现依旧抢眼,中国学者获多篇Distinguished Paper奖,中国人论文46%,华人一作论文占总接收论...

482

扫描关注云+社区