专栏首页AI科技评论KDD 2018 | 众包标注质量不稳定?让机器给标注工上个课吧!

KDD 2018 | 众包标注质量不稳定?让机器给标注工上个课吧!

AI 科技评论按:本文为亚利桑那州立大学在读计算机博士生周耀的独家投稿,他给大家介绍了一个基于机器教学为基础的自适应交互型众包教学框架——JEDI ,它假设每个 learner 都有指数型的记忆遗忘曲线,并且能够保证教学的有效性,多样性,以及教学样本的质量。作者的原论文(http://cn.arxiv.org/abs/1804.06481)入选了今年的 KDD 会议。以下为投稿全文。

在很多机器学习的问题中,一个模型的表现往往取决于标注数据集的数据规模和标注质量。很多的监督式机器学习(supervised learning)模型,尤其是深度学习,都需要大量的标注数据来进行模型训练。比如说,ImageNet 是一个广为人知的用于计算机视觉领域的图像识别,物体检测,物体定位的数据集,里面包含了 1400 万张有人工标注和分类的图片。然而,很多的研究者都比较关注如何能够有效的使用这些数据进行模型设计和改良,却只有比较少的研究在跟进如何更有效的获得这些高质量的大规模标注数据。目前互联网存在的,人为标注的大规模数据集通常都会使用众包(crowdsourcing)技术来进行标注。

图 1:深度学习和 ImageNet

相比较于外包数据集给专业公司做标注,众包标注的优势有以下几点:

  1. 价格低廉。很多非职业的标注者(worker)愿意以较低的报酬在一些平台上,比如说 AMT(Amazon Mechanical Turk),帮助科研工作者或者公司来标注数据。
  2. 标注周期短。因为对于标注质量的要求并不是很严格,放置在众包平台的数据往往可以在短期内得到标注。
  3. 标注数量大。在众包的标注平台上,一般每个数据(item)都会得到多个标注者的标注,因此每一个数据都会得到大量的冗余标签。

图 2:众包标注的平台

图 2 和图 3 是一个典型的众包标注的例子:目标是让 worker 把图片的类型标注为两类:驯化的猫,野生的猫。如果 AMT 给出了图 2 中的 item,大多数的 worker 都可以很容易的给出正确的标签。

图 3:众包平台的标注者标注一个简单的家猫图片

然而,很多时候,图片标注也需要一些专业知识。图 4 中的猫,对与一些 worker 来讲,就不是很好辨别这只猫是驯化过的还是野生的。比如说,和动物打交道比较多的 worker 就可以相对容易的解决这个标注问题,但是一个不太有经验的小女孩就可能给出错误的标签。因此,对于一个特定的标注问题,worker 和 worker 之间有着标注能力的差异,这种差异也会在标注的时候在他们给出的标签上体现出来。这种差异往往会对众包标签融合的算法带来一些挑战。

图 4:众包平台的标注者标注一个比较难的家猫图片

目前,比较成熟的众包标签融合的算法主要有两类方法:

  1. 第一类方法主要是用收集的众包标签对 worker 的标注能力进行估计,然后在标签融合的过程中加大优秀 worker 的权重并且降低较差 worker 的权重。
  2. 第二类方法一般是通过设计更好的激励机制(incentive mechanism)来引导 worker 提供更优质的 label。

然而,现在常用的方法都忽略了一个很重要的事实,那就是:相比于机器,人类是非常擅长学习一个新的概念(concept),而且可以很容易的将所学的概念很好的泛化并且转移到相似的问题中。图 5 中,人类可以通过看一些插画展示从而学会如何正确标注家猫和野猫的图片。因此,一个更有效的使用众包标注的方式其实应该是在监督 worker 标注的同时对他们进行教学(teach)。

图 5:人类的学习和泛化迁移能力

基于机器教学的众包教学框架——JEDI

为了充分利用 worker 的学习能力,我们提出了一个基于机器教学(machine teaching)的众包教学框架 JEDI。首先,我们会先介绍什么是机器教学?机器教学其实是机器学习的反过程。如图 6 所示,如果给予一个数据集和一个算法(e.g. SVM, Logistic Regression),机器学习的目标是在模型空间(model space)里学习一个概念(concept)。然后,对于机器教学,目标概念(target concept)和算法是已知的,最终的目标是找到最优的数据集。关于数据集最优的定义可以很多元化,e.g. 数据集规模最小,学习速度最快,等等。

图 6:机器学习和机器教学

我们提出的 JEDI 众包教学实际上是 adJustable Exponentially Decayed memory Interactive Crowd Teaching 的缩写,JEDI 的特点是:

  1. 自适应教学,每个 worker/learner 的教学过程都是不同的。
  2. 记忆遗忘,每个 worker/learner 都会在学习的过程中逐渐遗忘过往所学。
  3. 指数衰减,记忆遗忘的曲线是呈指数衰减的。
  4. 交互教学,worker/learner 和 teacher 是有多次交互的。

关与交互教学,图 7 是一个简单的例子:

图 7:交互式教学

如图 8 所示,JEDI 的每一轮教学(这里假设是第 t 轮)包括以下三个步骤:

  1. Teacher 估计 learner 的学习进度,根据 learner 之前的标注反馈得到上一次的学习概念,然后 teacher 向 learner 推荐一个新的样本进行教学。
  2. Teacher 向 learner 展示教学样本(隐藏样本真实标签),要求 learner 提供他自己对当前样本的标注标签。
  3. Teacher 展示样本真实标签,learner 辨识样本真实标签,并结合样本本身进行概念学习。

图 8:JEDI 的交互式教学示意图

学生(learner)模型:

- 每一个 learner 的学习过程都假设遵循梯度下降的规律:

- 我们进一步假设每一个 learner 对于学过的 concepts 的可收回度(retrievability)呈指数型递减:

老师(teacher)模型:

- Teacher 的目标是通过教学减少 learner 学到的当前概念(current concept)和目标概念之间的差异,所以教学的目标方程是:

- 这个目标方程可以被分解,具体细节请参考论文:

- 如果我们将预测错误的概率简写为如下表达,总体的教学目标可以进一步简化为:

JEDI 模型的具体运作

JEDI 模型理解:

- 教学有效性(usefulness)和教学多样性(diversity)的平衡(tradeoff):JEDI 的目标函数经过简化,优化问题的目标函数会包括有效性和多样性两部分组成。直观的来讲,这个平衡意味着 JEDI 可以通过最大化下一个教学样本的有效性和最大化教学样本之间的多样性从而引导 learner 向着目标概念的方向学习。

图 9:教学有效性和多样性的平衡

- 探索(exploration)和利用(exploitation)的选择:如图 10 所示,如果 teacher 选择的下一个教学样本 xt 和上一个教学样本 xt-1 有标签相同,我们称之为利用(exploitation);如果 teacher 选择的下一个教学样本 xt 和上一个教学样本 xt-1 有标签不同,我们称之为探索(exploration)。

图 10:教学中的探索和利用

- 教学样本的质量:如果上一个教学样本 xt-1 是一个有效性(usefulness)比较低的样本,JEDI 众包教学可以保证下一个教学样本 xt 具有以下特性:

  • 在 exploitation 的教学场景下,teacher 会推荐跟 xt-1 特征非常不同的教学样本 xt。因为 xt-1 的有效性比较低,同一个类型(class)的但是特征(feature)非常不同的样本可能会有比较高的教学有效性。
  • 在 exploration 的教学场景下,teacher 会会推荐跟 xt-1 特征非常接近的教学样本 xt。因为不同类型(class)的但是特征(feature)非常接近的样本可能会有比较有代表性,从而有较高的教学有效性。

图 11:JEDI 教学的教学样本

真实场景的教学:

- JEDI 教学在现实场景中是无法直接估计 learner 学到的当前概念 wt 的,因此我们在 JEDI 里使用原目标函数的下限来解决这个优化问题:

- JEDI 教学也需要样本的预测为正类的概率和预测为负类的概率作为输入,这两个参量也不是直接给予的,我们使用 harmonic function 来对他们进行估计:

总结:

JEDI 是一个基于机器教学为基础的自适应交互型众包教学框架,它假设每个 learner 都有指数型的记忆遗忘曲线,并且能够保证教学的有效性,多样性,以及教学样本的质量。

具体信息请参考我们的论文:

http://www.public.asu.edu/~yzhou174/

源代码:

https://github.com/collwe/JEDI-Crowd-Teaching

demo 展示:

http://198.11.228.162:9000/memory/index/

视频讲解:

https://www.youtube.com/watch?v=345o0QazwO8&t=4s

本文分享自微信公众号 - AI科技评论(aitechtalk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-11-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 学界 | 百度SVAIL推出高效问答模型GNR,比双向注意流快24.7倍

    AI科技评论消息,百度硅谷AI实验室最近推出强文,文中提出了一种被称为GNR(Globally Normalized Reader)的方法。据AI科技评论了解,...

    AI科技评论
  • 今日 Paper | 4D关联图;通用表征学习;元转移学习;无偏场景图生成等

    论文名称:4D Association Graph for Realtime Multi-person Motion Capture Using Multipl...

    AI科技评论
  • 强化学习的两大话题之一,仍有极大探索空间

    探索 VS 利用,这是强化学习中至关重要的话题。我们希望强化学习中的智能体尽快找到最佳策略。然而,在没有充分探索的情况下就盲目地选择某个策略会带来一定的问题,因...

    AI科技评论
  • 探索式测试基础系列——生活协奏曲

    前文讲过,探索式测试能为平常的生活带来浪漫因子,在浪漫一段时间后,新奇感消失,但效果仍在,探索式测试与日常测试真正融为一体,深刻作用于产品质量保证,共同演奏出...

    腾讯移动品质中心TMQ
  • 李世石再次败给AlphaGo,人工智能真的超越了人类?

    谁都没有想到,声称要以5:0击败电脑的韩国围棋天王李世石,会在“人机大战”连续两场比赛败给Alpha Go,尽管失利的主要原因是李世石自身的失误造成的,但不可...

    华章科技
  • 【探索式测试基础系列】生活协奏曲

    前文讲过,探索式测试能为平常的生活带来浪漫因子,在浪漫一段时间后,新奇感消失,但效果仍在,探索式测试与日常测试真正融为一体,深刻作用于产品质量保证,共同演奏出协...

    腾讯移动品质中心TMQ
  • 从零推导支持向量机 (SVM)

    AI 科技评论按,本文作者张皓,目前为南京大学计算机系机器学习与数据挖掘所(LAMDA)硕士生,研究方向为计算机视觉和机器学习,特别是视觉识别和深度学习。

    AI科技评论
  • AI入侵机械设计,苦逼的“机械狗”还有未来吗?

    近几年,机械行业的平均薪资一直被 IT 碾压,更不用说 IT 行业里炙手可热的人工智能。现如今,AI 一路攻城略地,已经深入里很多行业和领域,其中就包括制造业,...

    AI科技大本营
  • Chinco(摩客串串)——App原型交互演示利器

    Chinco是继国产原型设计软件Mockplus之后,由摩客团队独立设计开发,秉持了摩客团队“关注设计,而非工具”的一贯理念和产品风格。 Chinco是一款...

    奔跑的小鹿
  • 前端课程——过渡

    Dreamy.TZK

扫码关注云+社区

领取腾讯云代金券