专栏首页ATYUN订阅号Facebook的慢速视频分类器AI

Facebook的慢速视频分类器AI

编辑 | TGS 发布 | ATYUN订阅号

灵长类动物的视网膜神经节细胞能从感光器接收视觉信息,然后再传递到大脑,但值得注意的是,并不是所有的眼部细胞都具备这种精密的能力,科学家通过测试发现,80%的细胞只能在低频率下工作并识别出细微的细节,剩下的20%才能对快速的变化做出反应。

这种生物学上的二分法激发了Facebook人工智能研究的科学家们去追求他们所说的“慢速AI”。他们研发出了一个框架,是PyTorch框架的一个实现,名为SlowFast,可以在GitHub上使用,同时也可以使用经过训练的模型。这是一种用于视频识别的机器学习架构,他们声称,在动作分类和镜头检测方面都拥有“强大的性能”。

研究小组在一篇预印本论文中指出,慢速运动在统计上比快速运动更加常见,而且对颜色、纹理和灯光等语义的识别可以在不影响准确性的情况下缓慢刷新。另一方面,它们比主体标识发展得更快,能够在高时间分辨率下,分析已执行的动作。

“慢速”的作用有两种实现方式,其中一种以较低的帧速率和较慢的刷新速度运行,优化捕捉少量图像或稀疏帧给出的信息。另一种途径则以快速刷新速度和高时间分辨率,捕捉快速变化的运动。

研究人员断言,通过以不同的时间速率处理原始视频,较慢的路径更善于识别框架中不变或者变化缓慢的静态区域,而较快的路径则可以学会准确地推断动态区域中的操作。这两条通路的信息被融合后,用快速通路的数据,通过网络的横向连接进入慢速通路,可以使慢速路径能够感知来自快速路径的结果,并将其送到一个分类层中。

为了评估SlowFast的性能,该团队在两个流行的数据集上测试了该模型,这两个模型分别是:DeepMind的Kinetics-400和谷歌的AVA。

前者包括成千上万个YouTube上的10秒短视频,其中至少400个视频中包含了不同类别的人类行为。AVA则拥有430个带注释的15分钟YouTube视频和80个带注释的视觉动作。

SlowFast在这两个数据集上都获得了历史最佳成绩,并实现了28.3的mAP平均精度中值,研究人员在论文最后写道:“我们希望这一‘慢速’概念能促进视频识别的进一步研究……我们已经证明,通过减少通道容量,快速通道可以变得非常轻,同时还可以学习有用的视频识别时间信息。时间轴是一个特殊的维度,这篇论文主要就是对比沿着这条轴线的速度,研究了一个建筑型设计。”

本文分享自微信公众号 - ATYUN订阅号(atyun_com),作者:关注人工智能的

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Facebook创建了VideoStory数据集,训练AI将视频转化为故事

    视频是社交媒体的命脉,仅Facebook的视频每天平均观看次数就超过80亿次,每天观看时间超过1亿小时,此外,超过45%的人表示他们每周观看超过一小时的Face...

    AiTechYun
  • 多亏了人工智能,虚假的名人色情作品在Reddit上被爆了

    我们今天所拥有的许多最神奇的消费技术,都要归功于神经网络和机器学习的进步。在照片和语音合成方面,我们已经拥有了令人印象深刻的物体识别能力。机器学习已经变得如此先...

    AiTechYun
  • 【操作】这也可以?使用神经网络来“生成”视频并检测视频中的车祸

    人们认为理所当然的任务对于机器来说往往很难完成。这就是为什么通过CAPTCHA测试证明自己是人时,总是被问到一个简单的问题,比如图像是否包含道路标志,或者选择包...

    AiTechYun
  • Pinterest:Android系统上的视频管理

    https://medium.com/pinterest-engineering/managing-videos-on-android-f59da9601d5f

    LiveVideoStack
  • 老鼠流和大象流:如何检测和监控周期性流量

    大多数人习惯于top X:top发送者,top接收者和top协议。因此,从本质上讲,他们正在寻找大象流。虽然这是一种很好的做法,但是老鼠流也非常有趣,因为它们通...

    虹科网络可视化与安全
  • 新的一年“改头换面”,从镜子开始……

    今天虽已是初四,但春节的氛围依旧浓烈。在这猪年伊始之际,相信大多数人,包括小编在内,都给新的一年立下了不少Flag,比如掌握第二外语、出门旅游、学习摄影……这些...

    VRPinea
  • AI科技步态识别技术在智慧安防行业的应用

    随着以深度学习为代表的人工智能技术的成熟,国内众多行业都在利用人工智能推进行业变革与创新,积极探寻有效、有价值的应用场景进行商业化落地,其中尤以...

    视觉大数据
  • 棱镜资本陈俊宏:看好MyToken,长持MT!交易所Coineal是黑马!

    最近几天,MT的价格再度攀升,MT背后的独家发行机构棱镜资本合伙人陈俊宏昨日凌晨朋友圈继续力挺MT。半夜看到MT、SOC两条K线,立马约了一次访谈。后悔SOC下...

    区块链领域
  • 骗过70%的人!这个AI能自动给视频配音,真假难辨(不服来试)

    安妮 发自 凹非寺 量子位 出品 | 公众号 QbitAI 先来做个“真假美猴王”的游戏。 视频内容 你将看到两段画面相同的视频,请判断哪段来自视频原声,哪...

    量子位
  • 【AI核心技术】课程十三:PaddlePaddle 实现—系列卷积网络

    UAI与PaddlePaddle联合推出的【AI核心技术掌握】系列课程持续更新中!

    用户1386409

扫码关注云+社区

领取腾讯云代金券