15万人联名抗议!亚马逊人脸识别误判28名国会议员为罪犯


新智元报道

来源:CNET、businessinsider、aclu.org、AWS

编辑:肖琴,李静怡

【新智元导读】亚马逊人脸识别再次陷入舆论漩涡。该产品此前就遭到亚马逊用户、民间组织、股东甚至亚马逊员工在内超过15万人联名抗议。最近,在美国公民自由联盟(ACLU)的一次测试中,它将535名美国国会议员中的28人误判为罪犯!不过,亚马逊今天回应,这只是ACLU设置有误,菜炒糊了别怪锅。

亚马逊人脸识别产品Rekognition又闯祸了。

美国公民自由联盟(ACLU)使用亚马逊的这款人脸识别软件进行了一项实验,发现软件错误地将28名国会议员判定为此前被捕的罪犯!

尴尬。

但亚马逊方面今天回应,其软件的设计本意是辅助人类工作,造成误判的原因是ACLU在实验中使用了错误的设置,将识别阈值定为80%,一般在警方工作中建议阈值不低于99%——简而言之,这锅我们可不背。

Rekognition是亚马逊最具争议的产品之一。这是一款在亚马逊服务器上运行的图像识别AI软件,用户需要为使用该软件处理的每张图片向亚马逊付费。

它可以识别图像或视频上的文字、对象、场景、活动和人员。亚马逊正积极地将其面部识别技术卖给执法部门。在美国,警方已经开始使用该软件来寻找走失的儿童和被拐卖的人口。

但是,此举引发了美国民众极其强烈的反对和民权倡导者的严重质疑,遭到亚马逊用户、民间组织、股东甚至亚马逊员工在内超过15万人联名抗议。其中,最强烈的质疑声音来自美国公民自由联盟(ACLU)。该组织警告称,无处不在的面部识别软件可能侵犯人们的隐私,并造成一个无缝不入的政府监控系统。

使用默认设置,针对有色人种,识别错误率达5.2%

最近,ACLU找到了一些看似令人信服的证据——他们使用亚马逊的Rekognition人脸识别工具,扫描了全部535名美国国会议员的照片,并将它们与25000张警方公开的罪犯面部照片进行了比对。

结果,系统错误地将28名国会议员的照片与罪犯面部照片进行了配对。

也就是说,亚马逊的人脸识别工具认为,535名国会议员中,有28名议员看起来像是罪犯。

在测试时,ACLU使用25000张公开的入监,照构建了一个面部照片数据库和搜索工具。然后,他们搜索了这个数据库,比对了所有现任参众两院议员的公开照片。他们使用亚马逊为Rekognition的默认匹配设置。

民主党众议员Sanford Bishop (D-Ga.) 被亚马逊人脸识别系统错误地判定为罪犯。

结果,产生了28个不正确的匹配——错误率达到5.2%。

被错误匹配的议员中,有色人种的比例显著过高(11人),仅国会黑人同盟(Congressional Black Caucus)就有6名成员被误判,其中包括著名的民权活动家众议院议员约翰·刘易斯(D-Ga)。

测试表明,对于皮肤较黑的人和女性,人脸识别通常不太准确。虽然对于整个国会来说,错误率是5.2%,但对于非白人的国会议员,错误率达到39%

有色人种被错误匹配的比例显著过高。近40%的错误匹配来自有色人种,尽管他们只占国会议员的20%。

ACLU强调,整个测试只花费了12.33美元。他们使用的是亚马逊提供给所有用户的面部识别系统,任何人都可以用它来扫描人脸图像,进行匹配。

ACLU希望此结果促使国会加入抵制行列,呼吁执法部门停止使用亚马逊人脸识别系统。

在今年早些时候,已有亚马逊员工、股东、近70个民权组织组成的联盟、400多名学术界人士,以及超过15万名公众呼吁亚马逊,甚至上书亚马逊CEO贝索斯,停止向政府和执法部门提供人脸识别监控!

亚马逊回应:ACLU使用方法不对,这锅我们不背!

亚马逊今天在官方博客发表了一篇文章《关于机器学习准确率的思考》,署名Matt Wood 博士。

简单说,亚马逊认为ACLU一开始并没有正确地使用这个工具,因此才造成上述看似荒诞的误判。

事实上,美国公民自由联盟(ACLU)是在默认的80%置信度阈值设置下使用Rekognition软件,而不是亚马逊为执法机构推荐的95%以上的置信度水平。

鉴于ACLU并没有公开其实验设置细节,亚马逊自己做了一个测试。他们使用 850,000 张学界通用的人脸和所有美国国会议员的图片,将识别阈值调到99%以后,误判率为0%。

此外,ACLU使用的罪犯照片也可能模糊不清,导致识别出错。

亚马逊发言人通过电子邮件回应道:

“关于ACLU最近对Amazon Rekognition的测试,我们认为,通过在测试中设置最佳实践的置信度阈值(即Rekognition发现一个匹配的百分比),结果可能会得到改进。” “对于热狗、椅子、动物或其他社交媒体用例中的照片来说,80%的置信度是可以接受的阈值,但对于识别具有合理程度确定性的个人来说,这并不合适。当我们在执法活动中使用人脸识别时,我们会引导客户设置一个95%或更高的阈值。”

在今天Wood博士发表的文章中提到,人们普遍存在一种误解,认为人可以比机器更好地匹配面部照片。实际上,美国国家标准与技术研究所(NIST)最近分享了一项关于面部识别技术的研究,该技术至少比亚马逊 Rekognition 中使用的技术落后两年,并得出结论,即使是那些旧技术也能超越人类的面部识别能力。

“当有新的技术进步时,我们都必须清楚地了解什么是真实的,什么不是。使用机器学习识别食物和使用机器学习来进行面部匹配并根据其结果考虑是否应该采取执法行动,两件事完全不同。后者是严肃的,需要更高的置信水平。我们继续建议客户,不要在执法中使用低于99%的置信水平,然后仅将此方法作为众多工具中的一种。”

机器学习是一个帮助执法机构非常有价值的工具,虽然担心它会被滥用,但我们不应该因为把温度调错烤糊了比萨就扔掉烤箱。

误报是人脸识别公认的问题,现阶段必须由人接管

但是,一名ACLU律师告诉CNET,亚马逊不一定会引导执法机构将置信度阈值设得更高。也就是说,如果警察部门使用该软件,它的默认阈值设置仍是80%,也不会询问用户是否需要改变设置,哪怕用户打算用它来识别罪犯。

ACLU律师Jacob Snow说:“亚马逊不会询问客户他们使用Rekognition的目的是什么。”

ACLU表示,即使是面向安全目的的人脸识别,亚马逊网站也认为80%的置信度已经足够。

一位知情人士表示,当亚马逊直接与执法机构合作时,如奥兰多警察局,亚马逊会教他们如何减少误报,避免人为的偏见。

值得注意的是,“误报”是人脸识别技术公认存在的问题

包括ACLU在内的所有人都没有说过,警方会仅凭人脸识别软件的“误报”就去逮捕某人。人脸识别缩小了嫌疑犯名单的范围,接下来是由人类来接管。

最近,在英国,人脸识别帮助警方确定了来英国要毒杀俄罗斯双面间谍的俄罗斯刺客;在美国,人脸识别帮助警方锁定了《首都公报》枪击案抢手。在中国,人脸识别更是让歌神张学友变身“捕神”,警察通过人脸识别技术,在演唱会现场连连抓到逃犯。

而且,与英国大都会警察局(UK Metropolitan Police)的人脸识别技术(误报率高达98%!)相比,即使在80%的置信度下,亚马逊的Rekognition也没有产生那么多误报结果。

但美国公民自由联盟担心,亚马逊的误报结果可能会让警官或政府机构在不应该的情况下搜索、质疑无辜民众,甚至可能动用武器。美国公民自由联盟指出,亚马逊的科技似乎过多针对有色人种。

ACLU还提供了以下声明:

亚马逊似乎忽略了(或拒绝承认)一个更广泛的观点:政府掌握的人脸识别技术已为滥用做好了准备,并引发了对公民权利的重大担忧。它可以允许——在某些情况下已经允许——警察确定那些人参加了抗议活动,令ICE(美国移民及海关执法局)继续监控移民,令城市可以定期跟踪居民,不管他们是否有理由怀疑犯罪活动。将阈值从80%更改为95%并不能改变这一点。事实上,甚至可能加剧这种情况。

在美国公民自由联盟的测试曝光后的几个小时内,已经有5名国会议员公开致信亚马逊CEO贝索斯,要求他给出回应,并要求立即举行会面。

另外,据美国公民自由联盟称,由于亚马逊的技术似乎过多针对有色人种,信中提出了有关人脸识别技术的问题。

参考资料

1、ACLU调查:https://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-face-recognition-falsely-matched-28

2、亚马逊回应:https://aws.amazon.com/cn/blogs/aws/thoughts-on-machine-learning-accuracy/

本文分享自微信公众号 - 新智元(AI_era)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-07-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

NetFlix百万美金数据建模大奖的故事

我常对学生讲,互联网真是个好东西,它为年轻人提供了绝佳的施展舞台和成功的技术条件,那里有无穷的宝藏,数不清的成功机会。有不少学生听了这个说法并不理解,他们往往认...

56260
来自专栏BestSDK

人脸识别井喷,可别忘了SDK留下的那些“后门”

随着深度学习算法登场,人脸识别精度相比五年前已有大幅飞跃。各种设备拍摄人脸所提取的信息会结成数据对,不断积累的海量数据成为反哺技术完善的“充足养料”。 ? “刷...

638120
来自专栏数据的力量

【研究方法】如何提高问卷调查的信度和效度?

47580
来自专栏新智元

从人脸识别到“无脸识别”,经济学人主编表示很担心

【新智元导读】人工智能对社会的渗透远比你能看到的更多。在具体的AI应用中,人脸识别是最广泛的几大技术之一,不管是执法、广告、管理甚至教堂,人脸识别都在发挥作用。...

418100
来自专栏大数据文摘

哈佛教授用3个大数据案例告诉你:大数据,重要的不是数据!

30930
来自专栏VRPinea

AR医疗新技术,允许医生裸眼看清患者体内真实情况

388100
来自专栏华章科技

哈佛教授:大数据,重要的不是数据

“满城尽谈大数据”,但很多人其实并不理解大数据真正价值是什么,哈佛大学Gary King教授用3个大数据研究案例告诉你:有数据固然好,但是如果没有分析,数据的...

11520
来自专栏新智元

Google“快一亿倍”背后:量子计算到底是如何实现的?

日前,谷歌推出的D-Wave量子计算机,号称其解决问题的能力比其他任何计算机都快出一亿倍。有人认为是谷歌为夺人眼球,进行商业炒作;也有人认为谷歌制造出了量子计算...

48270
来自专栏用户3246163的专栏

[和坚FRM1学习笔记_2.0]1.1 风控原则

风险管理的目标是减少和消除EL,但是更concern UL,A对 承担风险的数量和潜在损失的大小不是绝对相关的,B错 风险管理的最后一步是监控,C错 风险...

50840
来自专栏AI科技大本营的专栏

不要学人类以貌取人,AI须远离伪科学

光明的另一面,是黑暗。 就在人工智能为人们打开一扇无比美好的天窗时,阳光的照射,让屋子的背光面,蒙上一层阴影。 而这层阴影的始作俑者,可能并非名目张胆恐怖分子、...

40370

扫码关注云+社区

领取腾讯云代金券