观点 | 可解释的人工智能:让机器解释自己,减少算法产生的偏见

如果你我有可能会被机器学习算法区别对待……

AI 科技评论按:2018 年 5 月 25 日,「通用数据保护条例」(GDPR)在整个欧盟范围内生效,要求对组织如何处理个人数据进行彻底改变。若违反 GDPR 条例的限制,相关组织必须支付高达 2000 万欧元或其全球收入 4%的罚款(以较高者为准),对威慑大多数违规行为具有很重要的意义。

由于不久前的剑桥分析丑闻闹得人心惶惶,许多人希望 GDPR 将成为全球数据隐私新标准的典范。目前一些行业领导者正在呼吁 Facebook 将 GDPR 标准应用于其在非欧盟国家的业务。

但隐私只是围关于数据驱动系统之争的一个方面,实际上机器学习支持系统的日益普及引发了一系列相关问题,包括一个对社会产生很大影响且无法量化的问题:偏见

在我们的生活中,许多重要决策都是由某种系统做出的,很多系统都存在明显的偏见,无论这系统是人、机器还是二者的组合。机器学习在决策制度中的作用越来越大,这为我们提供了一个建立更少偏见的系统的机会,当然也面临着加剧这一问题的风险

我们通常认为计算机比人类更客观、更公正。然而过去的几年里,许多机器学习系统产生了带有偏见或歧视的结果,人们对此也有着很多争议。2016 年时 ProPublica 曾报道,美国法院用来衡量被告再次犯罪可能性的机器学习算法,在对比背景相似的黑人与白人被告时会认为黑人的「风险更高」,即使系统没有提供有关被告种族的任何数据也依然如此。

AI 科技评论不久前一篇名为《关于模型可解释性的深入思考:从哪里来,到哪里去?》的文章中,曾详细介绍了学习出一个通用智能行动者的潜力和局限性,算法公平方面细微的以及可以被真正规范化的挑战。人们使用机器学习系统的目的是希望世界更公平、更有效率,而不是进一步放大人类的偏见。

这就是为什么 GDPR 允许用户可以要求解释机器任何「合法或类似重要」的决策,希望解释的权利能够使「算法歧视」的受害者诉诸人权,从而减轻这种偏见的影响。

但是生成这些类型的解释——即创造可解释的人工智能——是非常复杂的,而且即便系统对决策做出了解释,也有一些评论家认为「无法分辨它们是真的反对偏见,还是仅仅是掩饰偏见。」

可解释的人工智能以及GDPR是否会使技术更公平?如果不是,随着机器学习的使用变得更加普遍,我们还有什么替代方法可以防范偏见?

机器学习中的偏见

关于偏见的讨论常常被过分简化为诸如「种族主义算法」这样的词语,但其实问题不在于算法本身,而是数据研究团队提供给机器的数据。

例如,收集以往的数据是数据科学项目的一个共同起点,但「历史数据往往偏向于我们不希望转移到未来的方式,」加州大学伯克利分校电子工程与计算机科学学院助理教授、加州大学伯克利分校崛起实验室的创始人之一 Joey Gonzalez 说。

假设某公司建立了一个筛选求职者的机器学习模型,并基于公司过去筛选类似职位求职者的数据集对模型进行培训。如果该公司的 HR 曾多次拒绝过那些试图重返职场的前全职父母,则培训的结果很有可能会让模型也将这些存在长期就业缺口的人排除在外。

如果更进一步,这将导致模型过多的拒绝女性求职者(全职父母多为女性)从而造成性别比例失调,即使性别并不是模型培训数据集中的特征。因此在这一领域中,使用机器学习将进一步放大人类的偏见。

而这就是可解释的人工智能的用武之地。如果操作人员能够检查「推理」算法,就有可能在算法产生严重偏差之前进行纠正。

让机器解释自己

由于机器学习系统的行为由它学到的数据所驱动,所以它的工作方式与人们编写的标准计算机程序有很大不同。人们可以测量一个机器学习系统的准确性,但是对于这种系统实际做出决策的可见性是有限的。

(AI 科技评论注:和人脑类似,人脑的思考是由特定区域内神经元的复杂放电而产生,但人们并不确切知道具体怎样的神经元活动会得出怎样的思考。所以当人们想验证决策正确性时并不会去扫描大脑,而是通过相关数据以及过往的经验判断。)

可解释的人工智能要求机器学习算法可以自己证明决策的正确性。华盛顿大学的研究人员在 2016 年构建了一种称为 LIME 的解释技术,并在由 Google 构建的图像分类神经网络 Inception Network 上进行了测试。

LIME 在做出图像分类决策时,不会考虑触发神经网络中的哪个神经元,而是在图像本身中搜索解释。它会将原始图像的不同部分变黑,并通过 Inception 将产生的「扰动」图像反馈回来,以检查哪些扰动将算法抛离最远。

通过这种方法,LIME 可以将初始网络分类决策归因于原始图片的特定特征。例如对于青蛙的图像,LIME 发现抹除部分脸部会让初始网络很难识别图像,这表明最初的分类决策大多是基于青蛙的脸。

虽然像 LIME 这样的特征归属方法并不能完全解释算法的决策,并且在其它许多类型的机器学习模型上都不能工作的很好,但至少在图像分类方面,它朝着正确方向迈出了一步。

据 AI 科技评论了解,美国的人脸识别系统对黑人的面部识别远不如对白人那般精确(训练算法时用的图像多为白人),这增加了黑人被监控摄像误认导致被逮捕的可能性,严重者甚至会产生误判。更好的解释这些算法决策并加以监督,显然将有助于避免此类不良结果。

人们还需要做什么

虽然可解释的人工智能和神经网络的特征归因很有发展前景,但消除人工智能的偏见最终会归结为一件事:数据。

如果算法的训练数据不能公平的覆盖开发者想要服务的人群,系统就很有可能出现偏差。如果训练数据隐含了历史上的不公平现象,该算法就会学习进而延续甚至放大这些问题。

虽然 GDPR 和类似的法规对组织如何使用数据进行了一些控制,但它们也无法阻止这些组织使用已经存在偏见的数据集。

算法的发展当然对克服偏见有所帮助,但归根结底责任并不在数学结构、软件或硬件,而是在于这些决策系统的设计者和操作者,人们有责任明智而公平地收集,存储和使用这些数据。

从某种意义上说,减少机器学习算法中的偏见不仅需要人工智能的进步,还需要我们对人类多样性理解的进步。

为了开发公平和负责任的人工智能,技术人员需要社会学家,心理学家,人类学家和其他专家的帮助,他们能够洞察偏见对人类生活的影响,并告诉人们如何避免让偏见影响机器学习系统。

技术本身并不能解决社会问题,但是通过不同学科间的合作,研究者和开发者可以创建有利于更公平社会的机器学习技术。

via:venturebeat

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-05-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据猿

【案例】大拇哥财富——互联网金融个人评分模型

数据猿导读 随着互联网技术的不断发展,传统金融业务也从线下不断转移到线上,很多原先在线下的金融机构开始在互联网上开展经营活动。由于线上和线下的经营方式的差异,在...

40560
来自专栏大数据文摘

股价技术分析有了系统的数学理论基础

16190
来自专栏企鹅号快讯

使用人工智能增强人类智能(下)

来源:Distill 编译:weakish 编者按:本周一,Google Brain的Shan Carter和YC Research的Michael Niels...

25190
来自专栏AI科技大本营的专栏

CCAI 2017 | 邓小铁:金融博弈下的价值学习

上海交通大学计算机系邓小铁教授 文/CSDN焦燕 7 月 22 - 23 日,在中国科学技术协会、中国科学院的指导下,由中国人工智能学会、阿里巴巴集团 & 蚂蚁...

37860
来自专栏PPV课数据科学社区

干货分享 | 千人专家朱晓天:大数据与人工智能在金融领域的应用

12月9日,以“数智金融-大数据的创新与应用”为主题的第二届中欧大数据金融论坛在深圳举行,国家千人计划金融领域特聘专家、北京大学汇丰商学院金融实验...

39250
来自专栏数据猿

上海交通大学教授金耀辉:AI在智慧法院中的应用

11月10日,由上海大数据联盟、数据猿主办,上海科睿联合主办的《构建智慧法院,促进司法职能—魔方大数据》在上海超级计算中心举行。本文是数据猿整理的“上海交通大学...

41480
来自专栏PPV课数据科学社区

不加班,上班可以打游戏,年薪20万起,什么职位这么牛逼...

“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”——全球知名咨...

34160
来自专栏人称T客

SaaS估值新模型SANE的介绍| 报告

T客汇官网:tikehui.com 撰文 | 卿云 由于Twilio(NYSE:TWLO)当时IPO,将其从此分析中将其排除。为了减轻数据中的生存偏差,早期数据...

35750
来自专栏机器之心

业界 | 蚂蚁金服首届ATEC开发者大赛人工智能大赛圆满落幕,一文详解最佳解题方案

杭州·云栖大会期间,首届「ATEC 蚂蚁开发者大赛人工智能大赛」在 ATEC 展馆落下帷幕。

18120
来自专栏AI科技评论

学界 | 李飞飞最新论文:结合深度学习和谷歌街景来估算美国人口结构

AI科技评论按:最近,一篇名为《Using Deep Learning and Google Street View to Estimate the Demog...

313110

扫码关注云+社区

领取腾讯云代金券