学界 | 通过Crowd Layer,利用众包标注数据集进行深度学习

选自arXiv

机器之心编译

参与:刘晓坤、路雪

本文通过在深度神经网络中引入一种新型众包层(crowd layer),通过反向传播方式,直接利用噪声标签实现端到端的训练。该方法可获取不同标注者的可信度和偏差,并在不同数据集上取得最优结果。

论文链接:https://arxiv.org/pdf/1709.01779.pdf

摘要:在过去几年中,深度学习显著提高了机器学习各个分支的先进技术水平,给机器学习领域带来了变革。然而,随着监督式人工神经网络的规模不断增大,对大型标注数据集的需求量也越来越大。近期,众包成为以可扩展的方式标注大型数据集的一种高效、廉价的解决方案。但这通常需要整合来自不同专业水平的多个噪声标签贡献者的标签。在这篇论文中,我们针对的就是深度神经网络的众包训练问题。首先,我们将介绍最大期望值算法(EM),这种算法同时学习网络中的参数和不同标注者进行分类设置的混淆矩阵。然后,我们提出了一种新型的通用众包层(crowd layer),这个层可以使深度神经网络用反向传播的方式,直接利用不同标注者的噪声标签进行端到端的训练。我们的实验结果表明使用这种方法可以内部获取不同标注者的可信度和偏差,并在不同设置(如分类、回归和序列标注)的各种众包数据集上得到最优结果。

图 1. 具备 4 个类别和 R 个标注者的分类 CNN 的瓶颈结构

表 1:不同分类数据集的准确率结果:狗 vs. 猫和 LabelMe

图 2. 标注者的真实敏感度(true sensitivity)和真实特异度(true specificity)与狗 vs. 猫数据集中的权重矩阵 w^r 对角线元素的对比。

图 3. 权重矩阵 w^r 和对应的混淆矩阵的对比。

表 2. MovieReviews(MTurk)数据集的训练结果。

图 4. 学得的 b^r 参数和标注者的真实偏差之间的关系。

表 3. CoNLL-2003 NER(MTurk)数据集的训练结果。

本文为机器之心编译,转载请联系本公众号获得授权。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-10-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小巫技术博客

深度学习的一些概念分享

9920
来自专栏机器之心

盘点 | 机器学习入门算法:从线性模型到神经网络

选自Dataconomy 机器之心编译 参与:王宇欣、吴攀、蒋思源 近段时间以来,我们频频听到「机器学习(machine learning)」这个词(通常在预测...

391120
来自专栏AI科技评论

微软IJCAI2016演讲PPT:深度学习在语音识别上不再难有用武之地

微软研究院在IJCAI2016第一天的Tutorial上讲述了自己将深度学习、深度神经网络应用于语义理解上的一些经验和收获。作为小娜和小冰的开发者,微软在自然预...

523120
来自专栏AI科技评论

学界 | 清华大学计算机系朱军教授:机器学习里的贝叶斯基本理论、模型和算法

AI科技评论按: 3月3日,中国人工智能学会AIDL第二期【人工智能前沿讲习班】在北京中科院自动化所举行,本期讲习班的主题为【机器学习前沿】。周志华教授担任学术...

590140
来自专栏机器之心

学界 | 与模型无关的元学习,UC Berkeley提出一种可推广到各类任务的元学习方法

选自BAIR Blog 作者:Chelsea Finn 机器之心经授权编译 参与:路雪、蒋思源 学习如何学习一直是机器学习领域内一项艰巨的挑战,而最近 UC B...

42790
来自专栏机器人网

完整机器的学习项目的工作流程

现在机器学习应用非常流行,了解机器学习项目的流程,能帮助我们更好的使用机器学习工具来处理实际问题。

16530
来自专栏应兆康的专栏

22. 对比最优误差率

14210
来自专栏应兆康的专栏

22. 对比最优误差率

在我们的猫咪识别实例中,这个“想法”的错误率指的是——最优分类器的错误率接近0%,就像一个人可以很轻松的识别它。而且随时可以进行识别,我们希望机器也可以做到这点...

322100
来自专栏AI科技评论

干货 | 从零开始入门机器学习算法实践

人工智能热潮下,“大数据”、“机器学习”、“深度学习”热词屡见不鲜,但是想要真正掌握核心技术,势必要对机器学习算法有全面理解,这也是深入机器学习的必经之路。 为...

358100
来自专栏机器之心

CVPR 2018 | 密歇根大学&谷歌提出TAL-Net:将Faster R-CNN泛化至视频动作定位中

21040

扫码关注云+社区

领取腾讯云代金券