学界 | 李飞飞协同斯坦福、CMU带来全新成果:从网络嘈杂的视频中进行学习

李飞飞作为人工智能领域鲜有的活跃女性学者,不知道这一次她又带领着团队做出了怎样的贡献呢?赶紧随AI科技评论来看看吧。这项研究是李飞飞团队在今年CVPR上的一项最新工作,该方法提出了一种模型用于自动标注网络中巨量的嘈杂视频。

以下内容是AI科技评论根据论文内容进行的部分编译。

论文摘要

人类行为多种多样,而要如何才能让机器理解具有多样化和细粒度的人类行为,则是计算机视觉领域中的一个关键性的开放问题。通过手工的方式标注训练视频,对于少数的动作类型是可行的,但是这种策略无法完整覆盖丰富多样的所有动作。

图一,该论文中的模型使用一组标注数据来学习如何为新的没有见过的动作类别进行标注的策略。这样可以学习特定领域的专有知识,以及如何在避免语义漂移(Semantic drift)的同时选择不同的范例。比如,该模型可以从训练数据中进行学习,如图所示,其中人的动作线索对正确动作分类的帮助更大(比如“骑马”),而不是动物的外形。在测试期间,这种知识可以被应用于标记一些全新类别的嘈杂数据,比如“饲养动物”,而传统的半监督方法则是基于视觉相似(Visual similarity)性进行标注。

当前,解决这一个问题的一个可能有效的策略是,使用半监督(Semi-supervised)或者“网络监督(Webly-supervised)”的方法,利用来自网络检索所产生的嘈杂数据来学习新的动作。然而,这些方法要么通常无法学习到特定领域的知识(Domain-specific knowledge),要么依赖于需要不断迭代的手工调整的数据标签策略(Hand-tuned data labeling policies)。据AI科技评论了解在这项研究中,李飞飞她们团队提出了一种基于增强学习(Reinforcement learning-based)的方法,该方法能够从嘈杂的网络检索结果中筛选出适合于训练分类器的样本。

图二,模型框架图。该模型使用从网络搜索所得的候选示例集,为特定的视觉概念学习分类器。在每一个时间节距(time step)t,模型通过Q-learning的智能体来选择样本(比如Dk),并将该样本加入到已经存在的正样本数据集Dt-1中构成训练样本。然后该训练样本被用于训练视觉分类器。分类器将同时更新智能体的状态st+1并提供一个奖励rt。然后在测试期间,经过训练的智能体能够用于从任意的全新的视觉概念的网络检索结果中,自动选取出正样本。

该方法的核心思想是,使用Q-learning来学习一个小型标签训练数据上的数据标签策略,然后再利用该模型来自动标注嘈杂的网络数据,以获得新的视觉概念。

据AI科技评论了解,为了验证该方法,研究员们在当前最富有挑战性的动作识别数据集Sports-1M上进行了实验,实验内容包括动作识别基准、细粒度和新动作类别预测。通过实验证明了该方法能够为嘈杂数据学习到足够好的标签,并且使用这些标签能够学习到准确的视觉概念分类器。

Via Learning to Learn from Noisy Web Videos

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-06-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

大数据时代下的迁移学习

作者 | Lars Hulstaert 翻译 | 林椿眄 编辑 | 谷磊 在这篇博文中,你将了解到什么是迁移学习,它的一些应用以及它为什么能够成为数据科学家应具...

34617
来自专栏机器之心

学界 | 最大规模数据集、最优图像识别准确率!Facebook利用hashtag解决训练数据难题

1145
来自专栏刘琦的专栏

InceptionV3 网络模型

GoogLeNet inceptionV1 到 V4,一直都在逐步改进,本文主要是阅读 V3 的论文学习总结。

4510
来自专栏数据派THU

谷歌与CMU联合发文:审视数据对深度学习的重要性(附论文)

来源:机器人圈 作者:Chen Sun、Abhinav Shrivastava、Saurabh Singh、Abhinav Gupta 本文长度为1800字,建...

18210
来自专栏钱塘大数据

【干货】人工智能之机器学习算法体系汇总

此处梳理出面向人工智能的机器学习方法体系,主要体现机器学习方法和逻辑关系,理清机器学习脉络,后续文章会针对机器学习系列讲解算法原理和实战。抱着一颗严谨学习之心,...

2719
来自专栏苏博览的专栏

为什么要用深度学习来做个性化推荐 CTR 预估

深度学习应该这一两年计算机圈子里最热的一个词了。基于深度学习,工程师们在图像,语音,NLP等领域都取得了令人振奋的进展。而深度学习本身也在不断的探索和发展中,其...

1.2K1
来自专栏新智元

Open AI 研究主管:实现无监督学习的最佳路径或是聚焦模型

【新智元导读】师从Hinton,吴恩达的斯坦福研究小组博士后,谷歌大脑顶级研究者,加拿大史上第一位 Google Fellow,DNN Research 创始人...

3336
来自专栏机器学习算法与Python学习

从0到1,这篇深度学习综述送给你!

1237
来自专栏杨熹的专栏

AI 在 marketing 上的应用

1823
来自专栏大数据文摘

学界 | DeepMind想用IQ题测试AI的抽象思维能力,进展还不错

阿基米德基于对物体体积的抽象理解,悟到了物体的体积与物体浮力之间的关系。这就是抽象推理的魔力。

310

扫描关注云+社区