【学术】新的研究旨在解决黑箱算法中AI产生的偏见问题

从选择股票到检查X光,人工智能正越来越多地被用于帮助人类做决策。但是人工智能只能对它所训练的数据做出好的反应,而且在很多情况下,我们最终会把太过人性化的偏见放到可能对人们的生活产生巨大影响的算法中。

在arXiv发表的一篇新论文中,研究人员表示,他们可能已经找到了一种方法来缓解黑箱算法中出现的偏见问题。

  • 论文地址:https://arxiv.org/abs/1710.06169

对于偏见来说,一个特别令人不安的领域出现在风险评估模型中,这个模型可以决定一个人获得保释或批准贷款的机会。在这种情况下考虑种族这样的偏见因素通常是违法的,但算法可以学会识别和利用这样的一个事实,即一个人的教育水平或家庭住址可能与其他的人口信息相关联,种族偏见和其他偏见可能通过这些信息有效地渗透到它们的“脑海”中。

让这个问题变得更加棘手的是,许多人工智能都是用黑箱做出选择——要么它们太复杂,难以理解,要么它们是公司拒绝解释的专有的算法。研究人员一直在研究这个问题,以了解其背后的情况,但这个问题是普遍存在的,而且还在不断增长。

在上面提到的论文中,Sarah Tan和同事在两个黑箱风险评估模型中尝试了他们的方法:第一个是关于同等规模公司LendingClub的贷款风险和违约率。第二个是Northpointe,该公司为全国各地的法院提供算法服务来预测被告的再次犯罪风险。

研究人员使用了两种方法来阐明这些潜在的偏见算法是如何工作的。首先,他们创建了一个模仿黑箱算法的模型,并根据最初的数据集提出了一个风险评分,就像LendingClub和Northpointe那样。然后他们建立了第二个模型,他们对现实世界的结果进行了训练,用它来确定初始数据集的哪些变量在最终结果中是重要的。

在LendingClub的案例中,研究人员分析了从2007年到2011年一系列到期贷款的数据。LendingClub的数据库包含了许多不同的领域,但研究人员发现,该公司的贷款模式可能忽视了申请者的年收入和贷款的目的。收入被忽视掉是情有可原的,因为它可能被申请者虚报或是伪造的。但是,贷款的目的与风险高度相关,比如,小额企业的贷款风险比那些为筹备婚礼而贷款的人要高得多。因此,LendingClub似乎忽视了一个重要变量。

与此同时,Northpointe表示,该公司的COMPAS算法在对判决提出建议时,并不会将种族作为变量。然而,在ProPublica(美国一家非政府、非盈利的网络新闻机构)的一项调查中,记者们收集了一些关于被告的种族信息,这些被告在COMPAS的帮助下被判刑,并发现了种族歧视的证据。在他们的模拟模型中,研究人员使用了ProPublica收集的数据,以及关于被告年龄、性别、指控程度、先前定罪次数以及之前的监狱停留时间的信息。该方法与ProPublica的发现一致,这表明,COMPAS可能会对某些年龄和种族群体产生偏见。

批评者可能会指出,这些并不是准确的结果,研究者们正在进行大量的推测。但是,如果一个算法背后的公司不愿公开其信息在它的系统上是如何工作的,那么了解这个研究中近似模型则也是一个合理的方法,马萨诸塞州大学的助理教授Brendan O’Connor说道,他曾发表了一篇关于自然语言处理偏见的论文。Connor还表明,人类需要意识到这种情况正在发生,而不是闭上眼睛,装作没有发生一样。

  • 论文地址:https://www.technologyreview.com/s/608619/ai-programs-are-learning-to-exclude-some-african-american-voices/

当我们使做决策越来越自动化时,可能就会理解人工智能是如何变得越来越重要。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-11-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

干货 | 数学通大道,算法合自然?

算法对我们的生活中的有着各种潜移默化的影响,但算法是否存在被滥用的情况?本文对算法使用问题提出了自己的看法。

822
来自专栏企鹅号快讯

人工智能那么厉害,能算出彩票中奖数字吗?

众所周知,目前的人工智能已经逐渐被广泛应用,它能做人做不了的事情,大量的岗位也会随着人工智能的发展被替代,那么人工智能那么厉害,能算出下一期的彩票中奖数字吗?这...

2995
来自专栏机器之心

OpenAI人工智能1v1击败Dota2最强玩家:明年开启5v5模式

机器之心报道 参与:路雪、李亚洲、黄小天 计算机已经在国际象棋和围棋等经典游戏中打败世界上最厉害的人类。现在又有一台计算机在 Valve 举办的 Dota2 国...

34610
来自专栏CDA数据分析师

收藏丨学习数据科学不可错过的优质资源

大约两个月前,我开始学习数据科学。我并没有统计学、数学、数据科学、工程学、经济学方面的学位。说实话,在学生时代,数学和统计并不是我的强项,我更擅长语言方面。

831
来自专栏北京马哥教育

Python股市数据分析教程——学会它,或可以实现半“智能”炒股 (Part 1)

摘要:本篇文章是"Python股市数据分析"两部曲中的第一部分,主要介绍金融数据分析的背景以及移动均线等方面的内容。 本篇文章是"Python股市数据分析"两部...

38310
来自专栏机器之心

深度 | 从规则推理到数据学习:人工智能该学习人类的思维方式吗?

1538
来自专栏AI科技评论

学界 | 只要社会存在偏见,即便是算法操控的机器也无法摘下有色眼镜

AI科技评论按:用网络上现成的语言资料训练机器学习模型已经是现在主流的做法。研究者们希望人工智能从其中学到对人类自然语言的理解,但是人工智能所能学到的内容还远不...

3485
来自专栏大数据文摘

原形毕露!OpenAI 5团战人类职业选手,首战AI大溃败!

从单人赛打败Dendi到5 v 5公开赛团灭,OpenAI第一次在DOTA2公开赛中输给了人类玩家。

733
来自专栏机器之心

现场报道 | 面对最菜TI战队,OpenAI在Dota2上输的毫无还手之力

据介绍,本届 TI8 的很多参赛队伍都报名想参加与 AI 的比赛,OpenAI 今天遇到了第一个对手:来自巴西的战队 paiN,后者也是本届 TI8 比赛第一支...

1271
来自专栏CDA数据分析师

Python股市数据分析教程(一):学会它,或可以实现半“智能”炒股

本篇文章是”Python股市数据分析”两部曲中的第一部分,内容基于我在犹他州立大学MATH 3900 (Data Mining)课程上的一次讲座。在这些文章中,...

5197

扫码关注云+社区