【学术】新的研究旨在解决黑箱算法中AI产生的偏见问题

从选择股票到检查X光,人工智能正越来越多地被用于帮助人类做决策。但是人工智能只能对它所训练的数据做出好的反应,而且在很多情况下,我们最终会把太过人性化的偏见放到可能对人们的生活产生巨大影响的算法中。

在arXiv发表的一篇新论文中,研究人员表示,他们可能已经找到了一种方法来缓解黑箱算法中出现的偏见问题。

  • 论文地址:https://arxiv.org/abs/1710.06169

对于偏见来说,一个特别令人不安的领域出现在风险评估模型中,这个模型可以决定一个人获得保释或批准贷款的机会。在这种情况下考虑种族这样的偏见因素通常是违法的,但算法可以学会识别和利用这样的一个事实,即一个人的教育水平或家庭住址可能与其他的人口信息相关联,种族偏见和其他偏见可能通过这些信息有效地渗透到它们的“脑海”中。

让这个问题变得更加棘手的是,许多人工智能都是用黑箱做出选择——要么它们太复杂,难以理解,要么它们是公司拒绝解释的专有的算法。研究人员一直在研究这个问题,以了解其背后的情况,但这个问题是普遍存在的,而且还在不断增长。

在上面提到的论文中,Sarah Tan和同事在两个黑箱风险评估模型中尝试了他们的方法:第一个是关于同等规模公司LendingClub的贷款风险和违约率。第二个是Northpointe,该公司为全国各地的法院提供算法服务来预测被告的再次犯罪风险。

研究人员使用了两种方法来阐明这些潜在的偏见算法是如何工作的。首先,他们创建了一个模仿黑箱算法的模型,并根据最初的数据集提出了一个风险评分,就像LendingClub和Northpointe那样。然后他们建立了第二个模型,他们对现实世界的结果进行了训练,用它来确定初始数据集的哪些变量在最终结果中是重要的。

在LendingClub的案例中,研究人员分析了从2007年到2011年一系列到期贷款的数据。LendingClub的数据库包含了许多不同的领域,但研究人员发现,该公司的贷款模式可能忽视了申请者的年收入和贷款的目的。收入被忽视掉是情有可原的,因为它可能被申请者虚报或是伪造的。但是,贷款的目的与风险高度相关,比如,小额企业的贷款风险比那些为筹备婚礼而贷款的人要高得多。因此,LendingClub似乎忽视了一个重要变量。

与此同时,Northpointe表示,该公司的COMPAS算法在对判决提出建议时,并不会将种族作为变量。然而,在ProPublica(美国一家非政府、非盈利的网络新闻机构)的一项调查中,记者们收集了一些关于被告的种族信息,这些被告在COMPAS的帮助下被判刑,并发现了种族歧视的证据。在他们的模拟模型中,研究人员使用了ProPublica收集的数据,以及关于被告年龄、性别、指控程度、先前定罪次数以及之前的监狱停留时间的信息。该方法与ProPublica的发现一致,这表明,COMPAS可能会对某些年龄和种族群体产生偏见。

批评者可能会指出,这些并不是准确的结果,研究者们正在进行大量的推测。但是,如果一个算法背后的公司不愿公开其信息在它的系统上是如何工作的,那么了解这个研究中近似模型则也是一个合理的方法,马萨诸塞州大学的助理教授Brendan O’Connor说道,他曾发表了一篇关于自然语言处理偏见的论文。Connor还表明,人类需要意识到这种情况正在发生,而不是闭上眼睛,装作没有发生一样。

  • 论文地址:https://www.technologyreview.com/s/608619/ai-programs-are-learning-to-exclude-some-african-american-voices/

当我们使做决策越来越自动化时,可能就会理解人工智能是如何变得越来越重要。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-11-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CDA数据分析师

AI 又赢了! OpenAI 玩Dota 2在5v5比赛中击败人类玩家

原标题《Dota 2被攻陷!OpenAI 人工智能5V5模式击败人类玩家(4000分水平)》

933
来自专栏AI研习社

谷歌大脑是如何炼成的:万字无删减版全解密(上)

唯物按:如果说到在机器学习领域领先的公司,想必你不会忽略谷歌。从谷歌翻译到从机器视觉,谷歌一直努力将机器学习应用于可能想象的任何地方。文章从技术、制度、思想演变...

3274
来自专栏华章科技

重大改革—Python语言将入选高考科目

未来已来,就如互联网浪潮一样,AI也必将创造一个全新的世界。面对大势所趋,许多人开始与时俱进地研究AI知识,想跨入AI的大门。而Python,最接近人工智能的语...

672
来自专栏华章科技

万字长文回溯深度学习革命,盘点 16 大历史时刻

编译来源:http://fortune.com/ai-artificial-intelligence-deep-machine-learning/

614
来自专栏吉浦迅科技

借助GPUs,监控海平面上升更精准

气候变迁造成海平水上升一事可能会影响到全球四分之一的人口,不过精准测量这项数据对气候科学家而言更是一项艰巨的挑战。 过去以陆地上的仪器刻度来测量判断海平面,但是...

2775
来自专栏新智元

神经模拟重大突破,新算法拥有全脑超级计算机模拟能力

【新智元导读】Jülich研究中心等的研究人员在模拟人类大脑神经连接方面取得重大突破,他们使用NEST开源神经模拟工具,拥有在超级计算机上模拟人类大脑的1000...

50420
来自专栏钱塘大数据

重大改革—Python语言将入选高考科目

作者:改编自海码爸爸 1956年,人工智能概念首次被提出,之后经历了60年的浮沉起落,人工智能产业一直在曲折中前进,如今,人工智能已成为最炙手可热的产业之一。...

3548
来自专栏灯塔大数据

热点 | Dota 2被攻陷!OpenAI 人工智能5V5模式击败人类玩家(4000分水平)

2017 年,OpenAI 在 Dota2 TI 决赛现场以 1 对 1 solo 的方式击败了「Dota 2」世界顶级玩家。经过一年的发展,OpenAI 于昨...

862
来自专栏新智元

深度 |《财富》万字长文回溯深度学习革命,盘点 16 大历史时刻

【新智元导读】《财富》今日刊文,深度报道阐述深度学习推动的人工智能如何在整个计算生态系统引发革命。文章从深度学习发展的历史关键点入手,介绍重大的标志性技术突破,...

3245
来自专栏企鹅号快讯

为什么神经网络会把乌龟识别成步枪?现在的 AI 值得信任吗?

概要:人工智能的快速发展的确值得欣喜,但快速发展的背后还有各种不完善的地方。 人工智能的快速发展的确值得欣喜,但快速发展的背后还有各种不完善的地方。比如,前不久...

1676

扫描关注云+社区