中国团队“霸屏”全球权威人脸识别竞赛,依图夺冠!

来源:FRVT

编辑:文强,三石

【新智元导读】美国国家标准与技术研究院(NIST)刚刚公布了有工业界“黄金标准”之称的全球人脸识别算法测试(FRVT)结果,依图科技以千万分之一误报下的识别准确率超过99%,继续保持全球人脸识别竞赛冠军,中国公司商汤科技摘得第三名和第四名。

根据最新公布的全球权威人脸识别供应商测试 FRVT 结果,旷视、商汤和依图这三家视觉独角兽首次在公开场合同台竞技,最终由依图拿下第一。

FRVT 是美国国家标准技术局(NIST)定期举办的人脸识别供应商测试(Face Recognition Vendor Test),旨在衡量人脸识别算法的最先进水平。由于训练集不公开,数据集不能凭借过拟合测试集达到更好的成绩,再加上结果受商业因素影响较小,FRVT 素来被视为工业界“黄金标准”

根据报告,排在第一名的是依图科技今年10月提交的算法,也是参赛团队中在千万分之一误报指标下,唯一将漏报率降到1%以下的团队。在相同漏报率的情况下,商汤科技(Sense time-001)的误报率是依图(yitu-002)的30-50倍,在误报率指标相同的情况下,依图的漏报率是商汤的30%-45%。

在这份官方公布的报告中,中国人工智能公司实力展现,依图科技(yitu)、商汤科技(sensetime)、旷视科技(megvii)囊括了前十中的五席,加上排名第五的中国科学院深圳先进技术研究院(siat),中国团队已经超过半数,并稳稳“霸屏”前五,领跑全球人脸识别算法。

旷视商汤依图首次同台公开竞技,依图拿下第一

美国国家标准与技术研究院(National Institute of Standards and Technology,NIST)直属美国商务部,主要任务是建立国家计量基准与标准,提供为美国工业和国防服务的测试技术,参加标准化技术委员会制定标准等。NIST指导下的人脸识别算法测试,数据均来自真实业务场景,意味着测试结果代表该技术在实战场景中的表现。

FRVT通过上百亿次样本比对,对算法精度的评估可以到达百万分之一,也是当今全球规模最大、标准最严、竞争最激烈、最权威的人脸识别算法比赛。由于竞赛评测标准的严谨性、一致性和全面性,FRVT十多年来一直被业界作为人脸识别算法性能的“黄金标准”。

FRVT人脸识别测试集数据量很大,包含签证照片(visa)、逮捕照片(mugshot)、网络摄像头照片(webcam)、人脸自拍(selfie)和无约束环境下人脸图像(wild)等几大种类,FRVT会在每次结果报告中给出特定阈值下单项测试集的排名。

FRVT人脸识别测试集有多种测试集组成,数据量大且均来自实际场景,代表了算法在实战场景中的表现。制图:新智元

截至目前,全球顶级大厂都参加过这项竞赛,包括老牌大厂荷兰公司Gemalto,法国公司Morpho,日本公司Panasonic,俄罗斯公司Vocord,以及中国的海康威视、平安科技等。

最新一次的FRVT测评结果是2018年10月中旬提交,本次共有39个厂家参与,相比4个月前多了7家,分别是Anke、比特大陆(Bitmain)、大华股份(Dahua)、商汤科技(Sensetime)、Saffe、Tech5,以及文安智能(Vion)。

由此,这次测评也成为商汤、旷视、依图三家视觉独角兽首次在公开场合下的实力较量,算法比拼可谓激烈。

从专业角度讲,没有哪种人脸识别算法可以在任何场景下都做到性能最优,这也是每家公司提交多个算法的原因之一。

但是,从下图中可以看出,依图人脸识别算法在Visa(≤0.000001和≤0.0001,受限和不受限)场景下位均居第一,Mugshot也位于前十,表现优异。

FRVT官网最新Leaderboard:左起第三列开始,数字右上角的角标代表算法在特定阈值下单项测试集的排名,可以看出 yitu-002 在 Visa 和 Mugshot 两个场景中性能优异,因此综合排名第一。

值得一提,yitu-001是依图科技2018年6月评测提交的算法,时隔多月仍然处在前十之列。

人脸识别算法性能一年内提升80%,中国初创公司展现世界一流实力

在 1:1 人脸识别领域,业界通常以误识率(False Match Rate,FMR)、漏报率(False Non-match Rate,NMR)作为衡量算法能力的主要指标。

简单说,“误识”就是把不应该匹配的人脸当做成功匹配,“漏报”则是应该成功匹配的没有查找出来。

一般来说,在误识率相同的情况下,识别准确率越高,漏报率越低,都意味着算法的性能越好。

2018年10月中旬FRVT测评,Visa测试集上误识和漏报相关(ROC)曲线。排在第一名的是依图科技今年10月提交的算法(最下方的紫红色线条),也是参赛团队中在千万分之一误报指标下,唯一将漏报率降到1%以下的团队。来源:FRVT

2018年11月16日发布的报告显示,由依图代表的全球人脸识别算法最高水平,可以做到在千万分之一误报率下,漏报率降低于1%,这意味着千万分位误报下的识别准确率已经超过99%。相比于去年同期,全球人脸识别性能提升了80%。

在安防场景中,万路甚至十万路摄像头视频的人脸搜索、归档对算法有极高要求,在这些场景下,假定每路人流为万,要在万路视频中,搜索性能相当于要求算法百亿、千亿规模上的可识别率。这时候,识别率99%和99.99%的不同算法,以及以这些算法为基础的产品端体验差异,就会被同比例放大。

因此,千万分位误报下的识别准确率超过99%,意味着更多核心关键的安防场景被解锁。

另外值得关注的是,在最新成绩排行上排名前十位的公司几乎都是创业公司,而且多数来自中国。全球老牌企业在人脸识别算法技术上的迭代速度,相比较创业公司已经呈现落后趋势。

FRVT报告链接:

https://www.nist.gov/sites/default/files/documents/2018/11/16/frvt_report_2018_11_16.pdf

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-11-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

我们文本分析了贾跃亭2017年全部公开信,发现他近期喜欢用“责任”“致歉”

1272
来自专栏量子位

大限将至?Google先知

在古代,总有高人夜观天象,预测某人行将就木。个中玄学,无法解释,准确与否更无从得知。

953
来自专栏BestSDK

哪些事情被大数据预测对了?

近日,印度初创公司 Genic.ai 开发的 MogIA 人工智能系统一时间火遍了社交媒体,也登上了各大媒体的标题栏,如果你还不知道那真的是 out 了。 怎么...

3026
来自专栏AI研习社

首届“AI Challenger 全球 AI 挑战赛”闭幕!5 大冠军队伍名单公布,数据集永久开放

AI 研习社按:12月21日,由创新工场、搜狗、今日头条三家联合举办的首届 “AI Challenger全球AI挑战赛”在北京举办落幕仪式及颁奖典礼。AI 研习...

4366
来自专栏大数据文摘

习大大今年新年献词的书架上,多了这两本AI读物

1542
来自专栏DT数据侠

560万Facebook人际关系数据,揭秘家庭职业传承“真相”

当你走出校门迈向职场,择业时也许很难完全避免来自父母的影响。而这种影响甚至还不是一时,而是打你一出生就已经开始了。“龙生龙凤生凤”,父母的职业在多大程度上会影响...

1100
来自专栏新智元

IJCAI最佳论文重磅出炉!中国人论文占46%,华人一作近2/3

【新智元导读】IJCAI最佳论文公布!本届会议华人表现依旧抢眼,中国学者获多篇Distinguished Paper奖,中国人论文46%,华人一作论文占总接收论...

1182
来自专栏大数据挖掘DT机器学习

学习R语言对金融分析人士有何意义?

说一说我的背景,大学里c入门,转入R。在学校里弄了一阵生统与经济。现在搞云端理财的网站,后端是用R实现的,搞量化风险管理和资产组合的,其中要用到很多运算。R...

2946
来自专栏华章科技

【膜拜大神】当今世界最牛的25位顶尖大数据科学家

在大数据技术飞速发展的今天,谁才是我们大数据科研与工业界中最有威望的科学家呢?下面我们来进行梳理,共罗列了25位当今世界,无论是在学术与工业界都产生巨大影响的数...

1062
来自专栏新智元

【Geoffrey Hinton传奇】你我都是机器人

来源:TorontoLife 作者:Katrina Onstad 编译:文强,司明,张乾 【新智元导读】Torontolife以“Mr Robot”为题对Hin...

3559

扫码关注云+社区