专栏首页arxiv.org翻译专栏社会规范偏差:公平感知算法的残余危害

社会规范偏差:公平感知算法的残余危害

许多现代学习算法通过在与性别或种族等敏感属性相关的粗略定义的群体中实施公平来减轻偏见。然而,相同的算法很少考虑由于群体成员的异质性而产生的群体内部偏差。在这项工作中,我们描述了社会规范偏见(SNoB),这是一种微妙但后果严重的歧视,可能会在自动化决策系统中表现出来,即使这些系统实现了群体公平的目标。我们通过传记职业分类中的性别偏见来研究这个问题。我们通过测量算法的预测如何与性别规范相关联来量化SNoB,这是用机器学习方法测量的。这一框架表明,对于男性主导职业的分类任务,具有公平意识的分类者更喜欢以符合男性性别规范的方式编写的传记。我们通过公平干预技术比较了SNoB,发现后处理干预根本不能减轻这种偏见。

原文题目:Social Norm Bias: Residual Harms of Fairness-Aware Algorithms

原文:Many modern learning algorithms mitigate bias by enforcing fairness across coarsely-defined groups related to a sensitive attribute like gender or race. However, the same algorithms seldom account for the within-group biases that arise due to the heterogeneity of group members. In this work, we characterize Social Norm Bias (SNoB), a subtle but consequential type of discrimination that may be exhibited by automated decision-making systems, even when these systems achieve group fairness objectives. We study this issue through the lens of gender bias in occupation classification from biographies. We quantify SNoB by measuring how an algorithm's predictions are associated with conformity to gender norms, which is measured using a machine learning approach. This framework reveals that for classification tasks related to male-dominated occupations, fairness-aware classifiers favor biographies written in ways that align with masculine gender norms. We compare SNoB across fairness intervention techniques and show that post-processing interventions do not mitigate this type of bias at all.

原文链接:https://arxiv.org/abs/2108.11056

原文作者:Myra Cheng, Maria De-Arteaga, Lester Mackey, Adam Tauman Kalai

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 社会规范偏差:公平感知算法的残余危害(CS)

    许多现代学习算法通过在与性别或种族等敏感属性相关的粗略定义的群体中实施公平来减轻偏见。然而,相同的算法很少考虑由于群体成员的异质性而产生的群体内部偏差。在这项工...

    用户8440711
  • QQ举报第三季度打击公示

    腾讯举报中心作为QQ举报的官方受理渠道,致力于与用户共同打造一个健康、绿色的网络环境,日常除了提供QQ、微信和腾讯社交平台上各类违法违规行为的举报入口和举报受理...

    腾讯举报中心
  • 《 AI Now Report 2018 》:避免 AI 沦为恶魔,问责制度迫在眉睫

    AI 科技评论按:2018 年围绕着人工智能的一连串技术丑闻的核心只有一个:问责制。当 AI 系统对我们的身体造成伤害时,谁应该为此负起责任?我们应该如何定义这...

    AI科技评论
  • 从技术角度解读等保2.0对数据安全的要求

    我国2017年实施的《网络安全法》明确指出“国家实行网络安全等级保护制度”(第21条)、“国家对一旦遭到破坏、丧失功能或者数据泄露,可能严重危害国家安全、国计民...

    绿盟科技研究通讯
  • “人工智能毁灭人类”是一种末世恐惧传染病

    导读:一些人类害怕人造人有一天会毁灭人类,这种末世焦虑是一种莫名的害怕,这种害怕比害怕的对象更令人害怕,因此没有缓解的可能。就连他们害怕的人造人也是他们的某种自...

    企鹅号小编
  • 【南方周末专访王飞跃】平行世界与正来临的第五次工业革命

    青岛要建无人智能港口? 中国自动化学会副理事长王飞跃教授独特的平行理论,在他担任院长的青岛智能产业技术研究院落地。山东省委常委、青岛市委书记李群日前指出,要围绕...

    新智元
  • 徐贲:“人工智能毁灭人类”是一种末世恐惧传染病

    人工智能对人类未来的威胁已经成为即将过去的2017年里最引人关注的问题之一。不久前,一篇题为《今天,从美国惊爆凶讯:终结者,终于要来了!》的报道说,IBM宣布成...

    企鹅号小编
  • 业界 | AI在谷歌,如何「不作恶」

    AI 科技评论按:今年 3 月,谷歌与美国国防部在 Project Maven 上合作的消息泄露。由于 Project Maven 的目标是用于无人机的视频检...

    AI科技评论
  • 信任、公正与责任:IEEE人工智能合伦理设计指南解读

    蔡雄山  腾讯研究院法律研究中心副主任、首席研究员   曹建峰  腾讯研究院法律研究中心研究员   巴洁如  腾讯研究院法律研究中心高级研究员   ...

    腾讯研究院
  • 人工智能发展中的信息安全与监管

    2016年3月,阿尔法围棋(AlphaGo)以4比1的总比分,战胜围棋世界冠军、职业九段棋手李世石;2017年5月,在中国乌镇围棋峰会上,又以3比的总比分战胜排...

    企鹅号小编
  • 谷歌说「不作恶」?Nature评论:人工智能研究应当成为军事发展的助力

    今年 1 月,谷歌 CEO Sundar Pichai 曾表示人工智能的影响会比电力「更深刻」。他遵循谷歌领导者的悠久传统,称其技术是变革性且美妙的。

    机器之心
  • AI威胁论兴起?Nature欲发表“罪犯识别”研究,遭1700名科学家联名抵制

    今日,一份长长的公开信在reddit机器学习版块火了起来,信的内容涉及1700名科学家联名抵制一项人工智能研究发表在Springer Nature上。

    AI科技评论
  • 我们可以教会机器人道德吗?

    译者:Amber LI 本文长度为3524字,预估阅读时间7分钟。 引言:我们并不习惯关于机器做道德决定的想法,但它们能自己进行常规道德决定的那天正在逐步逼近...

    iCDO互联网数据官
  • 理解和减少语言模型中的社会偏见(CS)

    随着机器学习方法在医疗保健、法律系统和社会科学等现实世界中得到应用,认识到它们如何在这些敏感的决策过程中形成社会偏见和刻板印象至关重要。在这些现实世界的部署中,...

    用户8440711
  • 一种推荐的数据中心危险源识别和分析方法

    一.目的 数据中心现场环境复杂,存在各种各样的风险。风险就是埋好的雷,我们需要一种行之有效的扫雷工具让它们现出原形,且在此基础上规划好风险应对措施并控制风险,以...

    腾讯数据中心
  • 2014年腾讯雷霆行动网络黑色产业链年度报告(上)

    image.png 年度报告摘要 网络黑色产业链已经呈现低成本、高技术、高回报的爆发性增长态势,对网民造成了金融资产和个人信息安全等多方面的危害,成为阻碍互...

    腾讯研究院
  • 腾讯云社区协议政策

    为了创建更好的社区氛围,腾讯云技术社区制定内容规范政策,维护社区的和谐氛围。本社区提供的网络服务中包含的标识、版面设计、排版方式、文本、图片、图形等均受著作权、...

    云加创业小助手
  • 原创 | 安全生产事故如何防患于未然?监测与预警平台为安全和效益保驾护航

    今年4月21日,江苏连云港一家生产碳化硅的企业车间发生火灾和爆炸,一时间,互联网上一片谴责痛惜之声,“连云港化工厂爆炸”成为网络热点事件,一度排名微博热搜第一。...

    数据派THU
  • AAAI2020| 当推荐系统邂逅线性残差GCN

    今天为大家介绍的是合肥工业大学程磊教授课题组在AAAI2020上发表的一篇关于推荐系统的文章。为了去除GCNs里的非线性操作带来的额外复杂度以及缓解迭代过程中的...

    DrugAI

扫码关注云+社区

领取腾讯云代金券