学界 | 李飞飞协同斯坦福、CMU带来全新成果:从网络嘈杂的视频中进行学习

李飞飞作为人工智能领域鲜有的活跃女性学者,不知道这一次她又带领着团队做出了怎样的贡献呢?赶紧随AI科技评论来看看吧。这项研究是李飞飞团队在今年CVPR上的一项最新工作,该方法提出了一种模型用于自动标注网络中巨量的嘈杂视频。

以下内容是AI科技评论根据论文内容进行的部分编译。

论文摘要

人类行为多种多样,而要如何才能让机器理解具有多样化和细粒度的人类行为,则是计算机视觉领域中的一个关键性的开放问题。通过手工的方式标注训练视频,对于少数的动作类型是可行的,但是这种策略无法完整覆盖丰富多样的所有动作。

图一,该论文中的模型使用一组标注数据来学习如何为新的没有见过的动作类别进行标注的策略。这样可以学习特定领域的专有知识,以及如何在避免语义漂移(Semantic drift)的同时选择不同的范例。比如,该模型可以从训练数据中进行学习,如图所示,其中人的动作线索对正确动作分类的帮助更大(比如“骑马”),而不是动物的外形。在测试期间,这种知识可以被应用于标记一些全新类别的嘈杂数据,比如“饲养动物”,而传统的半监督方法则是基于视觉相似(Visual similarity)性进行标注。

当前,解决这一个问题的一个可能有效的策略是,使用半监督(Semi-supervised)或者“网络监督(Webly-supervised)”的方法,利用来自网络检索所产生的嘈杂数据来学习新的动作。然而,这些方法要么通常无法学习到特定领域的知识(Domain-specific knowledge),要么依赖于需要不断迭代的手工调整的数据标签策略(Hand-tuned data labeling policies)。据AI科技评论了解在这项研究中,李飞飞她们团队提出了一种基于增强学习(Reinforcement learning-based)的方法,该方法能够从嘈杂的网络检索结果中筛选出适合于训练分类器的样本。

图二,模型框架图。该模型使用从网络搜索所得的候选示例集,为特定的视觉概念学习分类器。在每一个时间节距(time step)t,模型通过Q-learning的智能体来选择样本(比如Dk),并将该样本加入到已经存在的正样本数据集Dt-1中构成训练样本。然后该训练样本被用于训练视觉分类器。分类器将同时更新智能体的状态st+1并提供一个奖励rt。然后在测试期间,经过训练的智能体能够用于从任意的全新的视觉概念的网络检索结果中,自动选取出正样本。

该方法的核心思想是,使用Q-learning来学习一个小型标签训练数据上的数据标签策略,然后再利用该模型来自动标注嘈杂的网络数据,以获得新的视觉概念。

据AI科技评论了解,为了验证该方法,研究员们在当前最富有挑战性的动作识别数据集Sports-1M上进行了实验,实验内容包括动作识别基准、细粒度和新动作类别预测。通过实验证明了该方法能够为嘈杂数据学习到足够好的标签,并且使用这些标签能够学习到准确的视觉概念分类器。

Via Learning to Learn from Noisy Web Videos

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-06-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

开发者成功使用机器学习的十大诀窍

2697
来自专栏AI科技评论

学界 | 发美照时打上「#」,还能帮Facebook提升图片识别率哟

AI 科技评论按:近日 Facebook 科学家团队发布基于主题标签的深度学习方法,使用已有的拥有主题标签的图片作为训练数据,从而大幅提升了训练数据集的大小。数...

1002
来自专栏数据科学与人工智能

【机器学习】开发者成功使用机器学习的十大诀窍

在提供发现埋藏数据深层的模式的能力上,机器学习有着潜在的能力使得应用程序更加的强大并且更能响应用户的需求。精心调校好的算法能够从巨大的并且互不相同的数据源中提取...

2638
来自专栏专知

【重温经典】吴恩达课程学习笔记二:无监督学习(unsupervised learning)

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专...

4185
来自专栏新智元

剑桥构建视觉“语义大脑”:兼顾视觉信息和语义表示

【新智元导读】一般认为,大脑对可视目标的识别过程分为两部分:视觉属性和语义属性,即目标“像什么“和”是什么“。过去人们对这两部分一般是分开研究的,现在,剑桥大学...

712
来自专栏Spark学习技巧

推荐系统系列之隐语义模型

933
来自专栏AI科技大本营的专栏

资源 | Intel发布AI免费系列课程3部曲:机器学习基础、深度学习基础以及TensorFlow基础

翻译 | AI科技大本营 校对 | 成龙 编辑 | 明明 Intel于近期发布了三门AI系列的免费课程,分别是关于机器学习基础、深度学习基础、TensorFlo...

3338
来自专栏新智元

中星微夺冠国际人工智能算法竞赛,目标检测一步法精度速度双赢

1857
来自专栏专知

ImageNet模型能够迁移适用图像推荐吗?30页slides告诉你

【导读】Felipe del Rio等人发表了一篇论文,阐述了ImageNet模型是否能够迁移使用图像推荐的问题。

1356
来自专栏数据科学与人工智能

【陆勤阅读】【推荐】开发者成功使用机器学习的十大诀窍

作者|Alexander Gray 编译|刘帝伟 转自|CSDN 在提供发现埋藏数据深层的模式的能力上,机器学习有着潜在的能力使得应用程序更加的强大并且更能响应...

2168

扫码关注云+社区