前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >[DeeplearningAI笔记]序列模型2.10词嵌入除偏

[DeeplearningAI笔记]序列模型2.10词嵌入除偏

作者头像
演化计算与人工智能
发布2020-08-14 14:42:36
8990
发布2020-08-14 14:42:36
举报

2.10 词嵌入除偏 Debiasing word embeddings

“Bolukbasi T, Chang K W, Zou J, et al. Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings[J]. 2016.

  • 机器学习和人工智能算法正渐渐被信任用以辅助或是制定极其重要的决策,所以要确保人工智能系统不受非预期形式的偏见影响--比如说 性别歧视,种族歧视 本节将介绍在词嵌入技术中减少或消除这些形式的偏见的方法。
The problem of bias in word embeddings 词嵌入中的偏见问题
  • 示例 当使用词嵌入系统做语言推断时:假如 Man 对应 Woman,则 King 对应 Queen.这是正确而显而易见的,但是当对系统输入 Man 对应 Computer Programmer(程序员)时,系统对应的 Woman 显示为 Homemaker(家庭主妇)--这涉及到 性别歧视 的问题。当 Father 对应 Doctor 时,Mother 对应 Nurse--这也是不对的。
  • 因此,根据训练模型时使用的文本,词嵌入能够反映出性别,种族,年龄,性取向等其他方面的偏见。由于机器学习人工智能正对人们的生活发挥着越来越重要的作用 所以修改这种 误差 至关重要。
Addressing bias in word embeddings
  • 辨别出我们想要减少或想要消除的特定偏见的趋势,此处以 性别歧视 作为研究示例
  1. 首先将 性别相反的词嵌入向量的差求平均 即:
Average((e_{he}-e_{she})+(e_{male}-e_{female})+(e_{boy}-e_{girl})+...)

得以求出一个 偏见趋势 --这个偏见趋势有可能是 1 维的也可能是更高维度的向量。而其余的维度则可以被认为是 无偏见趋势

  • Note 在原论文中相对于此处使用的求平均值的算法,论文中使用的是更加复杂的算法--SUV 奇异值分解
  1. 中和步(Neutralize) 对于那些定义不确切的词可以适当的处理以避免偏见,有些词语本质上就和性别有关 mother 和 father ,然而有些词汇例如 doctor 和 babysitter 在性别方向是中立的。对于这些定义中立的词语,我们选择在 无偏见趋势 的轴方向上进行处理,以减少在 偏见趋势 方向上的差距。
  1. 均衡步(Equalize pairs) 对于 偏见词对 例如 father 和 mather , boy 和 girl , 希望 偏见词对babysitter 和 doctor 类型的词汇的影响相等,即将 偏见词对无偏见趋势 相靠拢,使到 babysitter 这种中性词的距离相等。
  • Note 怎样判断一个词汇是中性的, 类似于 beard(胡子) 这个词应该更靠近男性(male)一些。
    • 论文作者 通过训练一个分类器来尝试解决哪些词是有明确定义的,哪些词是性别确定的,哪些词不是。
  • Note 在实际使用中,需要平衡的 偏见词对 数其实并不多。

参考资料

[1]

吴恩达老师课程原地址: https://mooc.study.163.com/smartSpec/detail/1001319001.htm

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-05-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 DrawSky 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 2.10 词嵌入除偏 Debiasing word embeddings
    • The problem of bias in word embeddings 词嵌入中的偏见问题
      • Addressing bias in word embeddings
      • 参考资料
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档