学界 | 只要社会存在偏见,即便是算法操控的机器也无法摘下有色眼镜

AI科技评论按:用网络上现成的语言资料训练机器学习模型已经是现在主流的做法。研究者们希望人工智能从其中学到对人类自然语言的理解,但是人工智能所能学到的内容还远不止语法规则和词语意思。普林斯顿大学博士Aylin Caliskan等研究者已经在这方面做出了一些研究,以下是他们的发现,雷锋网AI科技评论编译。

关于未来的AI会是什么样子的讨论从未停止过,有一些专家认为这些机器会具有很强的逻辑性,而且非常客观非常理性。但是普林斯顿大学的研究者们已经证实了,人工智能其实也会学到创造它们的人的坏习惯。

机器学习程序通常是用网络上就能找到的正常人类对话进行训练的,那么它们在学习语言的过程中,也能够同步学到隐藏在字面意思后面的文化偏见。

4月14日的《科学》杂志刊登了研究者们的这项发现。Arvind Narayanan是这篇论文的作者之一。他担任着普林斯顿大学和CITP(信息技术政策研究所)的副教授职位,同时他还是斯坦福法学院网络与社会研究中心合作学者。在他看来,“机器学习在公平和偏见方面表现出的问题会对社会产生极为重要的影响。”

论文的第一作者Aylin Caliskan在普林斯顿大学的博士后工作站进行着研究,他同样加入了CITP。论文还有一位参与者是英国巴斯大学的学生,也加入了CITP。

Narayanan说:”我觉得目前的状况是,这些人工智能系统正在给这些曾经存在过的偏见一个持续下去的机会。现代社会可能无法接受这些偏见,我们也需要避免出现这些偏见。“

研究人员用内隐联想测验(IAT)的方法来测试机器学习程序的偏见程度。自从上世纪90年代华盛顿大学开发出了这套测试以来,它作为人类偏见的试金石,被运用在无数的社会心理学研究中。它的测试过程中会要求人类被测者把电脑屏幕上的单词根据意思进行配对,并以毫秒为单位记录下所花的时间。这项测试也反复证明了,如果被测者觉得两个单词的意思越匹配,他所花的时间就越会明显地短。

比如,“玫瑰”、"雏菊" 这样的单词就可以和正面的词汇 "爱抚"或者“爱情”配对,而"蚂蚁"、"飞蛾"这样的单词就会和“肮脏”、“丑陋”这样的单词配对。人们给描述花的单词配对的时候,会更快地配对到正面词汇上去;同样地,给描述昆虫的单词配对的时候,就会更快地配对到负面词汇上去。

普雷斯顿团队用机器学习版的IAT测试程序GloVe设计了一个实验。GloVe是斯坦福大学的研究者编写的热门开源程序,单独看甚至可以作为一个初创机器学习公司产品的核心功能。GloVe的算法可以算出一段话中指定的单词一同出现的概率。那么经常一同出现的单词之间就有更高的相关性,不经常一起出现的单词的相关性就较低。

斯坦福大学的研究者们让GloVe从网络上广泛获取了大约8400亿词的内容。在这样的词汇库中,Narayanan和他的同事们查看了很多组目标词汇,比如“程序员、工程师、科学家”,或者“护士、老师、图书馆员”,然后跟两组属性词汇比如“男的、男性”和“女的、女性”进行交叉对比,看看人类在这些事情上会有怎样的偏见。

然后结果展示出,既有“对花的喜欢多一些、对昆虫的喜欢少一些”这样比较单纯、无攻击性的偏好存在,也有跟性别、种族相关的严重偏见出现。普林斯顿的机器学习测试与人类参与对应的IAT测试体现出了如出一辙的结果。

具体举个例子,这个机器学习程序会更多地把带有家庭属性的单词和女性相关联,比如“父母”和“婚礼”;跟男性相关联更多的则是与事业相关的单词,比如“专业性”和“薪水”。当然了,这种结果很大程度上是对不同性别有着不对等的社会职能的真实、客观反映,正如现实世界中确实有77%的美国计算机程序员都是男性。

这种社会职能的偏见最终可能会带来有害的男权主义影响。比如,机器学习程序有可能在对句子做翻译的过程中体现出、甚至加强了对性别的刻板印象。用到土耳其语中的不区分性别的第三人称代词”o”的时候,谷歌翻译却会把性别无关的”o bir doctor”和”o bir hemşire”(医生和护士)翻译成带有明显性别区分的“他是医生”和“她是护士”。

“机器学习并不会因为它们的设计和运行依靠数学和算法就变得客观和公正,这个观点在这篇文章中得到了重申;”微软纽约研究院的高级研究员Hanna Wallach这样说,她虽然没有亲身参与这项研究,但是她很清楚状况,”相反地,只要机器学习的程序是通过社会中已经存在的数据进行训练的,那么只要这个社会还存在偏见,机器学习也就会重现这些偏见。"

研究者们还发现,机器学习程序更容易让非洲裔美国人的名字和不愉快的词语产生关联;这种事情就不怎么会发生在欧洲裔美国人名字上。同样地,这些偏见在人类中也大规模存在。芝加哥大学的Marianne Bertrand和哈佛大学的Sendhil Mullainatha在2004年合作发表过一篇著名论文,其中他们向1300个招聘职位发送了接近5000封简历,而这些简历间的区别仅仅在于求职者的名字是传统欧洲裔美国人的还是传统非洲裔美国人的。结果是惊人的,前者得到面试邀请的概率要比后者高50%。

通过给底层的AI系统和机器学习程序开发明确的、数学性的指导规范,有可能可以避免让电脑程序把人类文化中的刻板性别观念一直延续下去。就像爸爸妈妈或者老师们给小孩逐渐灌输公平公正的观念一样,人工智能的设计者们也可以努力让人工智能更多地反映出人性中更好的那一面。

Narayanan最后总结说:“我们在这篇文章中研究的偏见确实很容易在人工智能系统的设计过程被忽视,这些社会中的偏见和刻板印象以复杂的方式反映在我们语言中,而且难以去除。相比于减少甚至完全消除这些偏见,我觉得更好的方式是先接受这些偏见是我们语言习惯的一部分,然后在机器学习方面建立明确的标准来区分哪些偏见是我们可以接受的,哪些是不允许出现的。”

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-04-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【工具】R语言学习参考图书不完全指南

这里大部分都是英文的书。国内对于R的书籍的翻译中文几乎可以忽略的说。 1.入门级读物 R的帮助文档中提供了一些入门的读物,比如《Anintroduction t...

2343
来自专栏机器学习算法与Python学习

走近Hinton:AI教父传奇人生

三十多年以来,Geoffrey Hinton一直都处于人工智能研究的边缘地带。他像一个局外人一样坚守着一个简单的观点:计算机可以像人类一样,依靠直觉而不是规则进...

983
来自专栏AI科技评论

干货 | 数学通大道,算法合自然?

算法对我们的生活中的有着各种潜移默化的影响,但算法是否存在被滥用的情况?本文对算法使用问题提出了自己的看法。

922
来自专栏专知

这是一篇论文评审吗?

【导读】面对如今每年数量暴增的AI领域顶级会议论文投稿量,作者Zachary C. Lipton在Approximately correct上发表了对论文评审的...

1312
来自专栏机器之心

OpenAI人工智能1v1击败Dota2最强玩家:明年开启5v5模式

机器之心报道 参与:路雪、李亚洲、黄小天 计算机已经在国际象棋和围棋等经典游戏中打败世界上最厉害的人类。现在又有一台计算机在 Valve 举办的 Dota2 国...

35410
来自专栏华章科技

OpenAI人工智能1v1击败Dota2最强玩家:明年开启5v5模式

在 Dota2 一对一表演赛中,由 OpenAI 设计的 bot 打败了 Danylo "Dendi" Ishutin,一名在职业生涯中已经赢得 735,449...

764
来自专栏新智元

李飞飞:我们怎么教计算机理解图片

前言: 当一个非常小的孩子看到图片时,她可以辨认出里面简单的要素:"猫""书""椅子"。现在,电脑也聪明得可以做同样的工作了。接下来呢?在这个令人震撼的演讲里,...

3488
来自专栏CSDN技术头条

数据挖掘历史中的重要里程碑

数据挖掘现在随处可见,而它的故事在《点球成金》出版和“棱镜门”事件发生之前就已经开始了。下文叙述的就是数据挖掘的主要里程碑,历史上的第一次,它是怎样发展以及怎样...

2587
来自专栏大数据文摘

为应对评分机器人,美国的大学生也开始背作文模版了

“(某一年)(写你最喜欢的大学)的(添加一个有声望的名字)教授做了关于(此处摘要辩论的关键)的研究,研究人员发现(在这里添加令人信服的数据),并且(这里提供更多...

960
来自专栏机器之心

人物 | Geoffrey Hinton的成功之路:从神经网络黑暗时代的坚守到今天的胜利

选自The Globe and Mail 作者:Jeff Gary 机器之心编译 参与:吴攀、黄小天、Ellen Han 深度学习泰斗 Geoffrey Hin...

2394

扫码关注云+社区

领取腾讯云代金券