【学术】新的研究旨在解决黑箱算法中AI产生的偏见问题

从选择股票到检查X光,人工智能正越来越多地被用于帮助人类做决策。但是人工智能只能对它所训练的数据做出好的反应,而且在很多情况下,我们最终会把太过人性化的偏见放到可能对人们的生活产生巨大影响的算法中。

在arXiv发表的一篇新论文中,研究人员表示,他们可能已经找到了一种方法来缓解黑箱算法中出现的偏见问题。

  • 论文地址:https://arxiv.org/abs/1710.06169

对于偏见来说,一个特别令人不安的领域出现在风险评估模型中,这个模型可以决定一个人获得保释或批准贷款的机会。在这种情况下考虑种族这样的偏见因素通常是违法的,但算法可以学会识别和利用这样的一个事实,即一个人的教育水平或家庭住址可能与其他的人口信息相关联,种族偏见和其他偏见可能通过这些信息有效地渗透到它们的“脑海”中。

让这个问题变得更加棘手的是,许多人工智能都是用黑箱做出选择——要么它们太复杂,难以理解,要么它们是公司拒绝解释的专有的算法。研究人员一直在研究这个问题,以了解其背后的情况,但这个问题是普遍存在的,而且还在不断增长。

在上面提到的论文中,Sarah Tan和同事在两个黑箱风险评估模型中尝试了他们的方法:第一个是关于同等规模公司LendingClub的贷款风险和违约率。第二个是Northpointe,该公司为全国各地的法院提供算法服务来预测被告的再次犯罪风险。

研究人员使用了两种方法来阐明这些潜在的偏见算法是如何工作的。首先,他们创建了一个模仿黑箱算法的模型,并根据最初的数据集提出了一个风险评分,就像LendingClub和Northpointe那样。然后他们建立了第二个模型,他们对现实世界的结果进行了训练,用它来确定初始数据集的哪些变量在最终结果中是重要的。

在LendingClub的案例中,研究人员分析了从2007年到2011年一系列到期贷款的数据。LendingClub的数据库包含了许多不同的领域,但研究人员发现,该公司的贷款模式可能忽视了申请者的年收入和贷款的目的。收入被忽视掉是情有可原的,因为它可能被申请者虚报或是伪造的。但是,贷款的目的与风险高度相关,比如,小额企业的贷款风险比那些为筹备婚礼而贷款的人要高得多。因此,LendingClub似乎忽视了一个重要变量。

与此同时,Northpointe表示,该公司的COMPAS算法在对判决提出建议时,并不会将种族作为变量。然而,在ProPublica(美国一家非政府、非盈利的网络新闻机构)的一项调查中,记者们收集了一些关于被告的种族信息,这些被告在COMPAS的帮助下被判刑,并发现了种族歧视的证据。在他们的模拟模型中,研究人员使用了ProPublica收集的数据,以及关于被告年龄、性别、指控程度、先前定罪次数以及之前的监狱停留时间的信息。该方法与ProPublica的发现一致,这表明,COMPAS可能会对某些年龄和种族群体产生偏见。

批评者可能会指出,这些并不是准确的结果,研究者们正在进行大量的推测。但是,如果一个算法背后的公司不愿公开其信息在它的系统上是如何工作的,那么了解这个研究中近似模型则也是一个合理的方法,马萨诸塞州大学的助理教授Brendan O’Connor说道,他曾发表了一篇关于自然语言处理偏见的论文。Connor还表明,人类需要意识到这种情况正在发生,而不是闭上眼睛,装作没有发生一样。

  • 论文地址:https://www.technologyreview.com/s/608619/ai-programs-are-learning-to-exclude-some-african-american-voices/

当我们使做决策越来越自动化时,可能就会理解人工智能是如何变得越来越重要。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-11-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏成长道路

JDBC动态SQL语句连接orcale数据库的工具类

import java.sql.Connection; import java.sql.DriverManager; import java.sql.P...

2500
来自专栏c#开发者

C# : row-clickable GridView and get and set gridview rows using JavaScript

Complete C# code: ---------------- using System; using System.ComponentModel; ...

2996
来自专栏xingoo, 一个梦想做发明家的程序员

windows程序设计-第四章 system1.c

/*---------------------------------------------------- SYSMETS1.C -- System M...

23710
来自专栏C/C++基础

C#获取系统当前时间

ystem.DateTime currentTime=new System.DateTime(); 1.1 取当前年月日时分秒 currentTime=Sy...

1153
来自专栏吴伟祥

Java Calendar 类的时间操作 原

Calendar 的 month 从 0 开始,也就是全年 12 个月由 0 ~ 11 进行表示。

783
来自专栏跟着阿笨一起玩NET

GB2312转换成UTF-8与utf_8转换成GB2312

1871
来自专栏张善友的专栏

Using sqlite with .NET

The other day I found that there is a .NET wrapper for sqlite. sqlite is a very ...

2288
来自专栏海说

Java应用中常见的JDBC连接字符串(SQLite、MySQL、Oracle、Sybase、SQLServer、DB2)

Java应用中常见的JDBC连接字符串 Java应用中连接数据库是不可或缺的,于是便整理一些可能用到的JDBC的jar包及其相匹配的URL,以备日后查阅。 1)...

2730
来自专栏Pulsar-V

C#下各种获取时间的姿势

直接贴代码吧 DateTime dt = DateTime.Now; Label1.Text = dt.ToString();//2005-11-5 13:21...

3236
来自专栏跟着阿笨一起玩NET

C# Stream 和 byte[] 之间的转换

611

扫码关注云+社区