Hinton 谷歌大脑新作：通过给个体标签建模来提高分类能力

图片来源 oregon center for nursing

AI 研习社按：Geoffrey Hinton 于 2013 年加入谷歌，目前在谷歌大脑团队致力将深度学习应用于实践领域。近日，谷歌大脑团队推出了新作，一作 Melody Y. Guan 及 Varun Gulshan、Andrew M. Dai 及 Hinton 提出了一种创新的方法，通过给个体标签建模来提高分类能力。

论文链接：https://arxiv.org/pdf/1703.08774.pdf

给数据集进行标记的任务通常是由许多不同的专家分工完成的，每位专家只标记其中一小部分数据而同一个数据点又包含有多位专家所标记的标签。这样的做法不仅减轻了每位专家的个人工作量并且还有助于揭开数据中难以发现的真相。当专家们对同一个数据点的标签存在不同意见时，标准的做法是将获得更多专家支持的标签作为正确的标签，或者将正确的标签进行建模以获得分布状态。

但是，这样的做法忽视了有关于哪些专家标记了哪些标签这一潜在的有效信息。因此为了获得这些额外的信息，谷歌大脑团队提出要单独对专家进行建模，然后学习平均权重以组合这些信息，比如说可能是以样本特定（sample-specific）的方式进行组合。通过这种方法，就能给更可靠的专家分配更多的权重，并利用个别专家的独特优势来对某些特定类型的数据进行分类。

在这篇论文中，作者展示了通过采用这种标记方法我们提升了计算机辅助诊断糖尿病导致视网膜病变的准确度，并且此方法的表现也优于Welinder和Perona以及Mnih和Hinton所提出的方法。谷歌大脑团队的工作提供了一种创新的方法，以处理那些数量巨大的、需要借助专家来标记标签的现实数据。

Via Who Said What: Modeling Individual Labelers Improves Classification