IBM宣布放弃人脸识别！不做种族主义帮凶？还是业务不行取悦民众？

大数据文摘

发布于 2020-06-17 15:35:52

3810

发布于 2020-06-17 15:35:52

文章被收录于专栏：大数据文摘大数据文摘大数据文摘

大数据文摘出品

作者：刘俊寰、牛婉杨

弗洛伊德事件持续升温，并且这只蝴蝶翅膀，正在技术领域掀起一次海啸。

6月9日，IBM首席执行官Arvind Krishna宣布，由于“人脸识别技术可能存在种族和性别歧视”，IBM将不再开发和提供人脸识别技术以及相关服务。

在一封公开信中，Krishna对IBM放弃人脸识别这块“大蛋糕”进行了解释：

IBM坚决反对并且绝不容忍任何将技术（包括其他供应商提供的人脸识别技术）用于大规模监视、种族歧视、侵犯基本人权和自由或任何与价值观和信任原则不符的行动中。我们认为，现在是时候开始关于国内执法机构是否以及如何使用面部识别技术的全国对话（national dialogue）。

IBM没有明确表明正式退出人脸识别领域的公布时间，但是Krishna告诉国会议员，应该就使用面部识别服务这一话题进行一次全国对话。

日前，美国反种族主义抗议正在进行时，在信中，Krishna也对一项旨在减少警察暴力和增加问责制的新法案表示支持。而IBM的这一行为将种族歧视这一顽疾再度引向舆论高潮，网友对此也议论纷纷，有人表示，“总会有人取而代之”。

也有网友表示，“这才是领导力”。

在人脸识别领域，IBM的市场份额并不大，但是IBM的主要客户之一是政府机构，此次Krishna的说法也将对政府业务产生一定的影响。

IBM：不做种族主义的帮凶？

以人脸识别为代表的信息隐私在技术领域内也曾引起多次讨论。

比如去年，亚马逊就针对面部识别技术的使用进行了股东投票，结果显示，2.4％的股东投票赞成在隐私和民权方面禁止向政府机构出售该技术。

如今，弗洛伊德事件成为又一“导火索”，IBM也加入到对技术伦理的探讨中。

根据一位知情人士透露，IBM的这项决定与弗洛伊德事件有着直接关系。但即使如此，要放弃投资已久并且市场前景火热的人脸识别业务，也显得有些因噎废食了。

不过，Krishna在公开信中所写到的，“AI是一个强大的工具，可以帮助执法机构保护公民安全。但是Al供应商和用户应该共同肩负起责任，对Al进行偏见测试、审计和报告，尤其是在执法中使用时”。

这样的发言也可以视为对人脸识别领域的一次郑重的诀别了。

迎合民意，IBM顺水推舟裁掉业务线？

但作为一家科技公司，IBM的目的可以这么单纯吗？

这位知情人士还透露道，IBM的这项决定和人脸识别给公司带来的收益太少也有很大关系。

对于IBM来说，人脸识别技术还处于起步阶段，就公司内部的长远发展而言，人脸识别技术的应用场景也并没有意料之中的丰富。

仍以亚马逊为例，亚马逊的Rekognition虽然已经被不少执法机构使用，但是在该领域内似乎没有很被看好。

这也是IBM现在的处境，如果只是用质量勉强过关的产品在市场进行竞争，这对IBM来说没有什么好处。

目前还无法猜测未来IBM将沿着怎样的路线进行AI研究。不过，根据路透社的报道，IBM的视觉技术将限制在视觉对象检测上，而不是用于人脸分析和识别。

IBM曾创建百万人脸数据库，用以防止偏见

去年IBM还建立了一个更多样化的，包含百万人脸图像的数据集，希望能够更好的减少AI的偏见，尤其是种族方面，IBM将重点放在了编码方案上。

关于如何区分“Ethnicity”和“Race”，创建了这个数据集的John R. Smith解释道：

Ethnicity和Race通常可以互换使用，尽管前者更多是与文化相关，而后者主要与生物学有关。两者之间的界限都不明显，如果用标签的话，会面临主观和杂乱的问题，就像在之前的工作中发现的那样。取而代之的是，我们选择专注于可以可靠确定并具有某种连续规模的编码方案，从而可以提供多样性分析。我们可能会回到这些主观的范畴。

然而，即使有100万张面孔，也不能保证这组面孔具有足够的代表性——所有群体和子集都有足够的面孔来防止偏见。事实上，Smith似乎确信事实并非如此，这是唯一合乎逻辑的立场:

在第一个版本的数据集中，我们不能保证这一点。但是，这是我们的目标。首先，我们需要弄清楚多样性的维度，从这个版本中的数据和编码方案开始，然后进行迭代。希望我们能在这个过程中带动更大的研究团体和行业。

性别、肤色，AI偏见无处不在

尽管IBM在防止人脸识别的偏见上做出了不小贡献，他们也坚信未来人脸识别技术将会越来越主流，但是过去几周，IBM内部不少员工仍然对公司人脸识别技术表示出了不同程度的担忧。

事实上，这项担忧不是全无道理。

2017年，Algorithmic Justice League的创始人Joy Buolamwini对IBM、微软、矿视3家专注于人脸识别领域的科技公司的相关算法进行了偏见测试。

相关链接：

http://gendershades.org/overview.html

虽然在整体上，3家公司都达到了90%的识别准确率，但是当用“性别”、“肤色”等标签进行分类查看时，效果也就没有那么尽如人意。

这就是Buolamwini所想要进行测试和验证的地方。

Buolamwini收集到了来自3个非洲国家和3个欧洲国家的1270张人脸照片，然后将这些照片用不同的标签进行分类。

比如，在性别上，3家公司的算法针对男性的识别率都要优于女性。

同时，可以想见，在肤色上，对深色人种的识别准确率要远低于白种人。

综合考察的结果是，对深肤色女性，3家公司的表现都是最差的。不过值得注意的一点是，矿视在深肤色男性的识别准确率上却是所有分类中最高的。

具体到IBM来说，算法准确率的差距是最大的，浅肤色男性和深肤色女性的错误率相差达到了34.4%。

在收到检测结果后，IBM相关负责人当天就回复表示，他们已经着手对相关算法进行优化。

在这份报告中，Buolamwini表示，在进行评估前，这3家公司都没有对其算法在性别、皮肤类型、种族、年龄或其他属性方面的表现进行过介绍。

但是，以人脸识别为例，如果想要创建适用于全人类的系统，那么产品的包容性测试和报告是十分必要的。不过，准确性也不是唯一需要考虑的问题，人脸识别可能被独裁政府、个人对手和掠夺公司滥用，因此在开发相关技术时，持续的监督和限制是必不可少的。

如今我们都知道，AI并非如此前料想那般中立，在AI程序内部，反映的是那些塑造AI的人们眼中的优先级顺序、偏好和偏见，也就是所谓的编码的目光（coded gaze）。

如果沉浸在机器中立的错误假设下，不管是对于社会还是技术本身都将带来不良影响，虽然IBM即将退出人脸识别领域的竞争，但是弗洛伊德事件也这类事件再度敲响警钟，我们必须增加透明度和问责制度，确保技术能够在合理的地方发光发热。