EMNLP最佳长论文作者独家解读:别让机器学习放大性别偏见,其实男人也喜欢购物!

via cheatsheet

近日,自然语言处理领域顶级国际会议 EMNLP 于丹麦哥本哈根举行。EMNLP是自然语言处理三大顶级会议(ACL, EMNLP, NAACL)之一,已经于前段时间公布了录用论文及最佳论文名单。

其中,弗吉尼亚大学赵洁玉、王天露、Vincente Ordonez、张凯崴及华盛顿大学的 Mark Yatskar 凭借「Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints」摘得最佳长论文。AI科技评论邀请了第一作者赵洁玉对此论文做了独家解读。

原文地址:https://arxiv.org/abs/1707.09457

概要

包含语言的视觉识别的任务,例如图片标题标注,视觉问答系统以及视觉语义角色标注任务已经成为从图片中获取信息的不同途径。这些任务通常依赖于大量的数据集、结构化的预测方法以及深度学习提取图片及语言中的丰富信息并以此解决这类问题。其中结构化的预测方法允许机器学习模型用标注之间的关系来提升预测的准确度。例如视觉语义角色标注任务(vSRL),需要对给定图片中所展示的动词以及与该动词相关的几个角色(工具,地点等)值进行预测。例如在图1中,考虑到铲子是一种常见的烹饪工具,结构化的预测模型会有很高的几率将“tool”预测为“spatula”。

图1

尽管结构化的预测方法可以为我们提供较好的预测结果,但是这类方法会学习到数据集中存在的偏差 (bias)。如果不对模型进行修改限定,此类模型会做出具有偏见的预测。例如在上图中,模型从数据集中学习到女性与做饭之间的联系,即便给定一张描述男性做饭的图片(1.4),模型仍然会预测其为女性。这种将女性与做饭之间联系更紧密的情况,反映了一种社会成见,对不同的性别均有不良的影响。

在本文中,我们针对男女两个性别进行研究,通过实验发现,模型不仅会学习到数据集中的偏差,并且会放大该偏差。我们提出了RBA算法用于解决被放大的偏差,并且验证了我们的算法可以有效的减少放大的bias同时几乎保持了原有的模型性能。

模型对偏差的放大

我们针对以下两个任务进行研究:基于imSitu数据集的视觉语义角色标注(vSRL)任务以及基于COCO数据集的多标签物体识别(MLC)任务。本文中将以vSRL(如上图1)为例进行解释。该任务的目标在于预测所给定图片中的动词,以及图片中的其它角色。

在研究模型放大偏差的过程中,我们定义了测量集合以及属性集合。前者包含了所能预测的动词,比如cooking,washing等;后者则是一些人口特征,例如性别,年龄等。我们定义针对某动词的性别比例,该比例取值[0,1],越接近于1,表明该动词越倾向于男性。

我们也定义了如何计算放大的bias。例如在训练集中,cooking的性别比例为33%,偏向于女性,但是在预测结果中,该比例变成了16%,表明这种bias被放大了17%。实验结果如下图2所示:不同的动词对不同的性别表现出不同的偏见程度。例如上文所提到的cooking更倾向于女性,此外“购物”,“洗衣”等都更偏向于女性;“驾驶”,“射击”以及“指导”则更偏向于男性。分析结果表明在vSRL任务中,所有动词平均放大的bias率为5%,在MLC任务中,该值为3%。

图2

对模型的修订

验证了模型对bias的放大作用后,我们提出了RBA算法对模型进行修订以减少所放大的偏差。我们先从训练集中获取每个动词的性别比例作为参考标准,并以此限制预测的结果,即每个动词预测的性别比例应当在相应参考标准的特定范围内。通过引入这些限制条件,我们将原有的模型变成一种具有限制的预测模型。

我们提出利用拉格朗日松弛方法对此类模型求解,该方法的优点在于我们可以利用原有的预测方法而不必重新构造算法训练模型,并且在所有限制条件均满足的情况下,该算法可以保证达到最优解。具体来说,我们对每一个限制条件设置了一个拉格朗日算子,循环地根据当前的预测结果更新所有的算子,根据这些新的拉格朗日算子来更新预测算法所利用的因子值,从而可以得到新的预测结果。当所有的限制条件均满足或者已经循环了足够多的次数后,算法停止。

实验结果(图3)表明我们的算法可以有效的减少放大的偏见,并且不失原有模型的准确度。具体来说,在vSRL中,我们减少了40.5%的平均放大bias值,在MLC任务中,该值为47.5%。在准确度上,两个模型几乎保留了原有的准确度,应用算法前后只有0.1%的差距。

Bias on vSRL without RBA Bias on vSRL with RBA

图3 算法在vSRL数据集上的结果

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

机器学习的脉络,一张概括图告诉你

经济基础决定上层建筑,这句话不论怎么看都是合适的,同样也是用于机器学习领域,基础决定深度。本文是入门级的统计学习(统计机器学习)的概要和统计学习全部内容的基础

812
来自专栏何颖的专栏

【SPA大赛】移动app广告转化率预估算法优化思路及解决办法

本次腾讯社交广告算法大赛以移动app广告转化率预估为背景,以移动App广告为研究对象,预测App广告点击后被激活的概率,即给定广告、用户和上下文情况下广告被点击...

9080
来自专栏机器之心

KDD 2018 | 最佳论文:首个面向Facebook、arXiv网络图类的对抗攻击研究

作者:Daniel Zügner、Amir Akbarnejad、Stephan Günnemann

1092
来自专栏程序员的酒和故事

2018年最佳深度学习书单

摘要: AI人才缺口巨大?如果你想成为AI革命中的一员,那么你就必须要学习深度学习,看看这12本书,它们将成为你的利器! 我相信你应该知道人工智能,尤其是深度学...

4297
来自专栏机器之心

从基础概念到数学公式,这是一份520页的机器学习笔记(图文并茂)

1776
来自专栏华章科技

从基础概念到数学公式,这是一份520页的机器学习笔记(图文并茂)

图解机器学习 正是对机器学习的过程中的痛苦有切身体会,我希望能做一份教程,以浅显易懂的方式去讲解它,降低大家的学习门槛。我为此花费了数月时间,经常做到...

1013
来自专栏机器学习和数学

[机智的机器在学习] 卷积神经网络入门教程(1)

机智的机器在学习,就像机智的你现在在学习一样,当你在看这篇文章的时候,你就是在学习,学习的材料(数据)就是这篇文章。学习的结果就是你了解了卷积神经网络是个什么鬼...

3386
来自专栏IT派

神经网络告诉我,谁是世界上最「美」的人?

数月前,华南理工大学发布了关于「颜值预测」的论文和数据集,数据集包括 5500 人,每人按颜值魅力打分,分值在 1 到 5 分之间。

940
来自专栏大数据挖掘DT机器学习

通俗易懂的机器学习入门指导

机器学习,也叫数据挖掘、模式识别;其定义很多。但大白话的说,机器学习要做的就是,现在有一些数据(比如你人人网好友和他们的发言),我们要对数据进...

3016
来自专栏DT数据侠

看脸时代,“颜值”竟然都有了计算方法!

“魔镜魔镜告诉我,谁是世界上最美的女人?”这句伴随童年的话也有现实版哦~神经网络可以预测人脸颜值,这方面也出现了不少研究。今年年初华南理工大学的研究者发布论文,...

920

扫码关注云+社区