学界 | 李飞飞协同斯坦福、CMU带来全新成果:从网络嘈杂的视频中进行学习

李飞飞作为人工智能领域鲜有的活跃女性学者,不知道这一次她又带领着团队做出了怎样的贡献呢?赶紧随AI科技评论来看看吧。这项研究是李飞飞团队在今年CVPR上的一项最新工作,该方法提出了一种模型用于自动标注网络中巨量的嘈杂视频。

以下内容是AI科技评论根据论文内容进行的部分编译。

论文摘要

人类行为多种多样,而要如何才能让机器理解具有多样化和细粒度的人类行为,则是计算机视觉领域中的一个关键性的开放问题。通过手工的方式标注训练视频,对于少数的动作类型是可行的,但是这种策略无法完整覆盖丰富多样的所有动作。

图一,该论文中的模型使用一组标注数据来学习如何为新的没有见过的动作类别进行标注的策略。这样可以学习特定领域的专有知识,以及如何在避免语义漂移(Semantic drift)的同时选择不同的范例。比如,该模型可以从训练数据中进行学习,如图所示,其中人的动作线索对正确动作分类的帮助更大(比如“骑马”),而不是动物的外形。在测试期间,这种知识可以被应用于标记一些全新类别的嘈杂数据,比如“饲养动物”,而传统的半监督方法则是基于视觉相似(Visual similarity)性进行标注。

当前,解决这一个问题的一个可能有效的策略是,使用半监督(Semi-supervised)或者“网络监督(Webly-supervised)”的方法,利用来自网络检索所产生的嘈杂数据来学习新的动作。然而,这些方法要么通常无法学习到特定领域的知识(Domain-specific knowledge),要么依赖于需要不断迭代的手工调整的数据标签策略(Hand-tuned data labeling policies)。据AI科技评论了解在这项研究中,李飞飞她们团队提出了一种基于增强学习(Reinforcement learning-based)的方法,该方法能够从嘈杂的网络检索结果中筛选出适合于训练分类器的样本。

图二,模型框架图。该模型使用从网络搜索所得的候选示例集,为特定的视觉概念学习分类器。在每一个时间节距(time step)t,模型通过Q-learning的智能体来选择样本(比如Dk),并将该样本加入到已经存在的正样本数据集Dt-1中构成训练样本。然后该训练样本被用于训练视觉分类器。分类器将同时更新智能体的状态st+1并提供一个奖励rt。然后在测试期间,经过训练的智能体能够用于从任意的全新的视觉概念的网络检索结果中,自动选取出正样本。

该方法的核心思想是,使用Q-learning来学习一个小型标签训练数据上的数据标签策略,然后再利用该模型来自动标注嘈杂的网络数据,以获得新的视觉概念。

据AI科技评论了解,为了验证该方法,研究员们在当前最富有挑战性的动作识别数据集Sports-1M上进行了实验,实验内容包括动作识别基准、细粒度和新动作类别预测。通过实验证明了该方法能够为嘈杂数据学习到足够好的标签,并且使用这些标签能够学习到准确的视觉概念分类器。

Via Learning to Learn from Noisy Web Videos

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-06-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏码匠的流水账

聊聊spring cloud的AbstractLoadBalancingClient

本文主要研究一下spring cloud的AbstractLoadBalancingClient

812
来自专栏码匠的流水账

聊聊EurekaRibbonClientConfiguration

spring-cloud-netflix-eureka-client-2.0.0.RELEASE-sources.jar!/org/springframewor...

1091
来自专栏听雨堂

想修改CSS

      下载了一个“通用”的CSS文件,本来想偷懒的,结果发现有问题,就是它用的颜色是变量定义的,无法识别。我又找不到在哪里可以定义。 BODY{     ...

19910
来自专栏吴小龙同學

时间工具类TimeUtil

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30...

3016
来自专栏跟着阿笨一起玩NET

[C#]工具类—FTP上传下载

  不错的文章:http://www.cnblogs.com/greatverve/archive/2012/03/03/csharp-ftp.html

1081
来自专栏菩提树下的杨过

MSDN官方的ASP.Net异步页面的经典示例代码

示例1.演示异步获取一个网址的内容,处理后显示在OutPut这一Label上 using System; using System.Web; using S...

1955
来自专栏飞扬的花生

日志帮助类

 1.代码 using System; using System.Collections.Generic; using System.Linq; using S...

1879
来自专栏互联网开发者交流社区

WinForm之窗体应用程序

1733
来自专栏积累沉淀

Hive2.0.0操作HBase 1.2.1报错解决

首先看错  org.apache.hive.service.cli.HiveSQLException: Failed to open new session: ...

2319
来自专栏谈补锅

记录C#常用的代码片段

using Newtonsoft.Json; using Newtonsoft.Json.Linq;

882

扫码关注云+社区