专栏首页机器之心算法偏见就怪数据集?MIT纠偏算法自动识别「弱势群体」

算法偏见就怪数据集?MIT纠偏算法自动识别「弱势群体」

选自 venturebeat

作者:KYLE WIGGERS

机器之心编译

机器之心编辑部

长久以来,我们都将注意力放在了算法性能上,而对于算法偏见,我们并没有很完善的研究。通常直观的想法就是修正数据集,以构建类别平衡的训练集,但是这又额外地引入了工作量。在 MIT 的 AAAI 2019 新研究中,作者借助 VAE 学习训练数据的潜在结构,并以学到的潜在分布给数据点加权从而解决算法偏见问题。

算法中的偏见可能比你想象得还要普遍。发表于 2012 年的《Face Recognition Performance: Role of Demographic Information》一文表明,Cognitec 的人脸识别系统对非裔美国人的识别准确率比白人低 5 到 10 个百分点,《An other-race effect for face recognition algorithms》一文发现,中国、日本和韩国开发的模型不太容易区分白种人和东亚人。最近的一份研究表明,谷歌和亚马逊的语音助手在理解非美国口音方面的准确率要低 30%。《Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings》一文发现,Google News 文章中的词嵌入存在对于男性和女性的刻板印象。

这是一个问题。但幸运的是,MIT 的研究者已经探索出了解决之道。

在论文《Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure》中,MIT CSAIL 的科学家们展示了一种可以通过重新采样来自动消除数据偏见的 AI 系统。他们表示,在专门测试计算机视觉系统中偏见的数据集上,该系统显示出优异的性能,分类偏见也得以降低。该论文将在本周举办的 AAAI 大会上作为 Poster 论文进行展示。

人脸识别通常被视为一个已经得到解决的问题,尽管很明显,人们使用的数据并未得到适当审查,」上述论文一作之一 Alexander Amini 说道。「矫正这些问题至关重要,因为这类算法已经用在了安全、执法及其他领域。」

这不是 MIT CSAIL 第一次解决该问题,在 2018 年的一篇论文里,David Sontag 教授及其同事描述了一种在不降低预测结果准确性的前提下减少 AI 偏见的方法。但本文提出的方法是一种新颖的、半监督的端到端深度学习算法,它同时学习所需任务和数据结构,如面部检测任务和训练数据的潜在结构。后者使其能够揭开训练数据中隐藏或隐含的偏见,并能够在训练期间自动去除这些偏见,而无需数据预处理或注释。

去除偏见的原理

研究人员所设计的人工智能系统核心是一个变分自编码器(VAE),这是一种常见的无监督神经网络,与 GAN 一样经常用于图像生成任务。与自编码器一样,变分自编码器主要包含编码器和解码器。其中编码器将原始输入映射到特征表示中,而解码器将特征表示作为输入,利用它们进行预测并生成输出。最后模型会对比编码器的输入与解码器输出之间的差别,并将它们作为损失函数而执行训练。

在本文所提出的 VAE 下,即去偏见 VAE(DB-VAE),编码器部分在给定数据点的情况下学习隐变量真实分布的近似值,而解码器则期望基于潜在空间重构输入数据。解码重构使得在训练期间能够以无监督的方式学习隐变量。

为了验证该去偏见算法在现实问题上具有「重要的社会影响」,研究人员在包含 40 万张图像的数据集上训练 DB-VAE 模型,分别将其中 80% 的图像作为训练集,20% 的图像作为验证集。然后他们在 PPB 测试数据集上评估该模型,该数据集包含 1270 张来自非洲和欧洲不同国家国会议员的图像。

结果很不错,据研究人员表示 DB-VAE 不仅学习面部特征(如肤色、头发),还学习诸如性别和年龄等其它特征。将在个体人口统计学(种族/性别)和整个 PPB 数据集上训练的去偏见模型与普通模型相比,去偏见模型的分类准确率明显增加,且针对种族和性别的分类偏见明显下降。该研究团队表示,这是朝着公平和无偏见 AI 系统发展的重要一步。

「公平系统的开发和部署对于防止意外的歧视以及确保这些算法被长期接纳至关重要。我们希望该算法能够促进现代人工智能系统算法的公平性。」合著者表示。

取得进步

过去十多年有很多失误都描述了 AI 潜在的偏见,但这并不意味着我们没有在更准确、偏见更少的系统方面取得进展。

去年 6 月份,微软与致力于人工智能公平性的专家通力合作,修正和扩展了用于训练 Face API 的数据集。Face API 是微软 Azure 中的一个 API,它提供预训练算法以检测、识别和分析人脸图像中的属性。新数据通过调整肤色、性别和年龄等所占的比例,能够将肤色较深的男性和女性之间的识别错误率降低 20 倍,单单女性的识别误差率就能降低 9 倍。

与此同时,一大类新兴的算法纠偏工具有望实现更加公正的人工智能。

去年 5 月,Facebook 发布了 Fairness Flow。如果一个算法因为人类的种族、性别、和年龄等因素做出不公平的判断,Fairness Flow 会自动预警以提醒开发者。初创公司 Pymetrics 同样开源了他们用于检测偏见的工具 Audit AI;Accenture 发布了一个工具包以自动检测 AI 算法中的偏见,并帮助数据科学家缓解这些偏见。此外在去年 9 月份,谷歌推出了新工具 What-If,这是 TensorBoard 中用于检测偏见的工具,也表明机器学习框架 TensorFlow 开始关注这种算法的偏见。

论文:Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure

论文链接:http://www.aies-conference.com/wp-content/papers/main/AIES-19_paper_220.pdf

摘要:最近的研究揭示了基于现代机器学习的系统容易产生偏见,尤其是对于训练数据中缺乏代表性的社会群体。在本文中,我们开发了一种新的、可调的算法来减少训练数据中隐藏的潜在偏见。我们的算法将原始的学习任务和变分自编码器相融合,以学习训练数据中的潜在结构,然后在训练时自适应地使用学到的潜在分布给特定数据点的重要性重新加权。虽然我们的方法可以泛化到不同的数据模式和学习任务上,但在本研究中我们主要用该算法来解决面部检测系统中的种族和性别偏见问题。我们在 Pilot Parliaments Benchmark(PPB)数据集上评估了该算法,这是一个专为评估计算机视觉系统中的偏见而设计的数据集。评估结果表明,我们的去偏见方法提高了整体性能,降低了分类偏见。

原文链接:https://venturebeat.com/2019/01/26/mit-csail-researchers-propose-automated-method-for-debiasing-ai-algorithms/

本文为机器之心编译,转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 回归、分类与聚类:三大方向剖解机器学习算法的优缺点(附Python和R实现)

    选自EliteDataScience 机器之心编译 参与:蒋思源、晏奇 在本教程中,作者对现代机器学习算法进行一次简要的实战梳理。虽然类似的总结有很多,但是它们...

    机器之心
  • 消除NLP中的刻板印象:程序员之于男性=家政人员之于女性?

    论文 1:男人之于程序员相当于女人之于家政人员?消除词嵌入中的偏见 (Man is to Computer Programmer as Woman is to ...

    机器之心
  • 深度 | 谷歌和OpenAI新研究:如何使用达尔文进化论辅助设计人工智能算法?

    选自QZ 作者:Dave Gershgorn 机器之心编译 参与:吴攀、黄小天、李亚洲 现代机器智能建立在模仿自然的基础之上——这一领域的主要目的是在计算机中复...

    机器之心
  • 机器学习Adaboost算法

    相关背景概念 一个概念如果存在一个多项式的学习算法能够学习它,并且正确率很高,那么,这个概念是强可学习的; 一个概念如果存在一个多项式的学习算法能够学习...

    张俊怡
  • 【Python环境】IT屌丝如何成为数据科学家?

    那么,对于不同职业经历和专业背景的IT人士来说,如何才能尽快转型,加入数据科学家的钻石王老五的行列呢? Ofer Mendelevitch近日在Hortonwo...

    陆勤_数据人网
  • Ubuntu 18.04安装OpenCV4.0和环境配置

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明...

    zhangrelay
  • point inside 点在框内

    如果是矩形比较简单,直接判断四个点的范围,不能推广到多边,考虑到图形的凹凸就更复杂,考虑到程序需要直接拿来用罢了,

    readme
  • 刚刚入门的java程序员有多痛苦?

    程序员相对来讲是一门入门比较难的职业,很多人是卡在入门的路上或者刚入门了遇到困难知难而退了,作为一个写了十几年的程序的老程序员,对于这一点有深刻的体会,没有入门...

    程序员互动联盟
  • 吴恩达《ML Yearning》| 关于开发集、测试集的搭建

    MachineLearning Yearning Sharing 是北京科技大学“机器学习研讨小组”旗下的文献翻译项目,其原文由Deep Learning.ai...

    马上科普尚尚
  • 高并发、高可用系统设计原则

    Clive

扫码关注云+社区

领取腾讯云代金券