【学术】新的研究旨在解决黑箱算法中AI产生的偏见问题

从选择股票到检查X光,人工智能正越来越多地被用于帮助人类做决策。但是人工智能只能对它所训练的数据做出好的反应,而且在很多情况下,我们最终会把太过人性化的偏见放到可能对人们的生活产生巨大影响的算法中。

在arXiv发表的一篇新论文中,研究人员表示,他们可能已经找到了一种方法来缓解黑箱算法中出现的偏见问题。

  • 论文地址:https://arxiv.org/abs/1710.06169

对于偏见来说,一个特别令人不安的领域出现在风险评估模型中,这个模型可以决定一个人获得保释或批准贷款的机会。在这种情况下考虑种族这样的偏见因素通常是违法的,但算法可以学会识别和利用这样的一个事实,即一个人的教育水平或家庭住址可能与其他的人口信息相关联,种族偏见和其他偏见可能通过这些信息有效地渗透到它们的“脑海”中。

让这个问题变得更加棘手的是,许多人工智能都是用黑箱做出选择——要么它们太复杂,难以理解,要么它们是公司拒绝解释的专有的算法。研究人员一直在研究这个问题,以了解其背后的情况,但这个问题是普遍存在的,而且还在不断增长。

在上面提到的论文中,Sarah Tan和同事在两个黑箱风险评估模型中尝试了他们的方法:第一个是关于同等规模公司LendingClub的贷款风险和违约率。第二个是Northpointe,该公司为全国各地的法院提供算法服务来预测被告的再次犯罪风险。

研究人员使用了两种方法来阐明这些潜在的偏见算法是如何工作的。首先,他们创建了一个模仿黑箱算法的模型,并根据最初的数据集提出了一个风险评分,就像LendingClub和Northpointe那样。然后他们建立了第二个模型,他们对现实世界的结果进行了训练,用它来确定初始数据集的哪些变量在最终结果中是重要的。

在LendingClub的案例中,研究人员分析了从2007年到2011年一系列到期贷款的数据。LendingClub的数据库包含了许多不同的领域,但研究人员发现,该公司的贷款模式可能忽视了申请者的年收入和贷款的目的。收入被忽视掉是情有可原的,因为它可能被申请者虚报或是伪造的。但是,贷款的目的与风险高度相关,比如,小额企业的贷款风险比那些为筹备婚礼而贷款的人要高得多。因此,LendingClub似乎忽视了一个重要变量。

与此同时,Northpointe表示,该公司的COMPAS算法在对判决提出建议时,并不会将种族作为变量。然而,在ProPublica(美国一家非政府、非盈利的网络新闻机构)的一项调查中,记者们收集了一些关于被告的种族信息,这些被告在COMPAS的帮助下被判刑,并发现了种族歧视的证据。在他们的模拟模型中,研究人员使用了ProPublica收集的数据,以及关于被告年龄、性别、指控程度、先前定罪次数以及之前的监狱停留时间的信息。该方法与ProPublica的发现一致,这表明,COMPAS可能会对某些年龄和种族群体产生偏见。

批评者可能会指出,这些并不是准确的结果,研究者们正在进行大量的推测。但是,如果一个算法背后的公司不愿公开其信息在它的系统上是如何工作的,那么了解这个研究中近似模型则也是一个合理的方法,马萨诸塞州大学的助理教授Brendan O’Connor说道,他曾发表了一篇关于自然语言处理偏见的论文。Connor还表明,人类需要意识到这种情况正在发生,而不是闭上眼睛,装作没有发生一样。

  • 论文地址:https://www.technologyreview.com/s/608619/ai-programs-are-learning-to-exclude-some-african-american-voices/

当我们使做决策越来越自动化时,可能就会理解人工智能是如何变得越来越重要。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-11-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

【干货】推荐系统原理介绍

29211
来自专栏about云

什么阻碍了强人工智能的发展

问题导读 1.哪些问题阻碍了人工智能的发展? 2.这些问题出现的原因是什么? 导读 当今科学虽然非常发达了,但还是没能很好的理解和解释我们的世界。三...

3277
来自专栏AI科技评论

干货 | 2 分钟论文:语音生成表情包背后的技术原理

来源 / Two Minute Papers 翻译 / 郭维 校对 / 凡江 整理 / 雷锋字幕组 【本期论文】 AI Creates Facial Anima...

3468
来自专栏AI研习社

数据科学工作者(Data Scientist) 的日常工作内容包括什么?

众所周知,数据科学是这几年才火起来的概念,而应运而生的数据科学家(data scientist)明显缺乏清晰的录取标准和工作内容。即使在2017年,数据科学家这...

2993
来自专栏腾讯研究院的专栏

AI:真实的希望与隐忧

姚  星  腾讯集团副总裁、腾讯AI Lab负责人   过去的二十年是信息高速发展的二十年,它经过了几个发展阶段。从发展的方向上来讲,应该是在上世纪九十年代初期...

1947
来自专栏机器之心

从技术到人才,清华-中国工程院知识智能联合实验室发布「2018自然语言处理研究报告」

报告下载地址:https://www.aminer.cn/research_report/nlp?h=5200&download=true

842
来自专栏新智元

UC 伯克利为 AI 植入好奇心,探索能力超过 AlphaGo 蒙特卡洛树搜索

【新智元导读】加州大学 UC 伯克利分校的一队研究者在他们的 AI 系统中嵌入了一种能力,能让系统在即使没有短期结果驱动的情况下,也会采取行动。这与 Alpha...

3208
来自专栏大数据挖掘DT机器学习

两个月入门深度学习,全靠动手实践

向AI转型的程序员都关注了这个号??? 搞CNN的工程应用有一段时间了,特别是在计算机视觉领域。分享下我自己的CNN学习历程。 简单的说,深度学习就是模仿人脑...

4498
来自专栏机器之心

通向未来人工智能的三条赛道:高性能计算、神经形态计算和量子计算

选自datasciencecentral 作者:William Vorhies 机器之心编译 参与:黄小天、蒋思源 有三种技术,可以带来更快、更简单、更廉...

32811
来自专栏CSDN技术头条

SDCC 2015算法专场札记:知名互联网公司的算法实践

【编者按】11月21日,为期三天的SDCC2015中国软件开发者大会成功闭幕,主办方总计邀请了95余位演讲嘉宾,为参会者奉献了10个主题演讲,9大技术专场论坛(...

1896

扫码关注云+社区