4 月 23 日，在 WAVE SUMMIT 2019 深度学习开发者峰会上，基于百度深度学习平台 PaddlePaddle 和百度视觉团队的应用打磨，业界首个视频识别工具集正式开源。
1、信息多维理解：视频的标题、字幕、画面、语音等信息中蕴含了丰富的视频信息，如何利用多维信息，提升模型高层次语义理解能力仍有很大难度。
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
随着4G的普及和5G的推出，内容消费的诉求越来越受到人们的重视。2019年互联网趋势报告指出在移动互联网行业整体增速放缓的大背景下，短视频行业异军突起，成为“行业黑洞”抢夺用户时间，尽管移动互联网人口红利见顶，新的增长点难以寻觅，但中国短视频人均使用时长及头部短视频平台日均活跃用户均持续增常(如图1所示)。
意料之外，一场疫情解锁了上班族的存封已久厨艺技能，“秒会陕西正宗凉皮”、“电饭煲实现蛋糕梦”……无数美食短视频帮助帅哥靓妹登上了厨房的舞台，舌尖上的中国再次风靡互联网。更惊喜的是，手机APP上的美食短视频就总能在合适的时间、推荐合适的菜谱，让小伙伴们不必为晚餐吃什么而发愁。我不仅暗自感叹，它为啥如此“懂”我？
欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
视频分类是指给定一个视频片段，对其中包含的内容进行分类。视频分类任务中，又以视频动作分类最为热门（如做蛋糕，打篮球，亲吻，喝酒，哭泣）等（详见下节数据集介绍），毕竟动作本身就包含“动”态的因素，不是“静“态的图像所能描述的，因此也是最体现视频分类功底的。
视频相对于图像多出了一个维度，而3D卷积正好可以用于处理这个维度，因此也非常适合视频分类任务，不过缺点是计算量比较大，下图展示了一个简单的3D模型。
我们可以使用计算机视觉和深度学习做很多事情，例如检测图像中的对象，对这些对象进行分类，从电影海报中生成标签。
导读：PaddleCV是飞桨开源的产业级CV工具与预训练模型集，提供了依托于百度实际产品打磨，能够极大地方便 CV 研究者和工程师快速应用。使用者可以使用PaddleCV 快速实现图像分类、目标检测、图像分割、视频分类和动作定位、图像生成、度量学习、场景文字识别和关键点检测8大类任务，并且可以直接使用百度开源工业级预训练模型进行快速应用于工业、农业、医疗、零售、媒体、驾驶等领域。用户在极大地减少研究和开发成本的同时，也可以获得更好的基于产业实践的应用效果。
标题：Benchmarking the Robustness of Spatial-Temporal Models Against Corruptions
近期，FAIR的Kaiming He组发布了关于视频的无监督学习研究：A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning，这篇论文被CVPR2021收录。论文的核心是将近期图像中的无监督学习方法应用在视频的无监督训练中。这个工作实验非常充分，也只有Facebook和Google 这样的大厂才有足够的资源来做这样的大规模实验。
背景： 视频在许多应用中是非常重要的问题，如内容搜索、智能内容识别广告等。现在正处在一个数据爆炸性增长的"大数据"时代，大数据对社会经济、政治、文化，人们生活等方面产生深远的影响，大数据时代对人类的数据驾驭能力提出了新的挑战与机遇，所以处理视频大数据也具有挑战和机遇。 待解决问题：视频大数据分类 视频分类思想步骤： 1) 选择具有代表性的数据集或在多个数据集实验； 2) 分析视频特征，深入研究代表性特性（静态特征、运动特征和声音特征）； 3) 选择优秀的分类器（深度学习）。 具体挑战： 可计算的底层特征和高
视频AI不仅需要建模图像的空间域信息，还需要建模视频帧之间的时间域信息。
视频分类/行为识别是计算机视觉领域中非常有挑战性的课题，因为其不仅仅要分析目标体的空间信息，还要分析时间维度上的信息，如何更好的提取出空间-时间特征是问题的关键。本文总结了该领域的技术进展和相关数据集，技术进展从传统特征法到深度学习中的3DCNN，LSTM，Two-Stream等。
经过大型数据集的训练，深度学习(DL)可以准确地将视频分类为数百个不同的类。但是，对视频数据进行标注的代价非常高。为此Zero-shot learning (ZSL)训练一个模型，提出了一种解决方案。ZSL算法只需要训练一次就可以在新的任务中有很好的的表现，这大大增加了模型的泛化能力。为此，本文第一次提出了基于端到端分类算法的ZSL模型应用于视频分类中。本文模型在最近的视频分类文献的基础上，建立训练程序，使用3DCNN来训练学习视觉特征。本文方案还扩展了当前的基准测试范例，使得测试任务在训练时未知，这是以往技术达不到的。该模型支持通过训练和测试数据实现域的转变，而不允许将ZSL模型分割为特定的测试数据集。本文提出的模型易于理解和扩展，而且训练和评估方案很容易与其他方法结合使用，同时性能远远超过现有方法。
【新智元导读】ActivityNet竞赛是目前视频动作分析领域影响力最大的赛事。上月，2017年竞赛组织者通过官网宣布了本届比赛的成绩。其中，来自百度深度学习实验室（IDL）的Genome团队获得子命题、由DeepMind主办的“Kinetics行为分类比赛”第一名，香港中文大学获得第二名，德国创业公司TwentyBN获得第三名。本文将具体介绍在ActivityNet Kinetics竞赛排名第一的视频识别任务解决方案。 作为重要的内容载体，视频已经成为信息获取的重要来源之一。与文章不同，视频通常需要预先标
基于深度学习的视频分类包含非常多的方法，如3D卷积，双流法，LSTM时序模型等，在有三AI知识星球中有非常多的相关模型解读，案例如下：
基于B/S模式的web音乐网站，要包含音乐和mv。为用户提供一个友好的视频和音乐播放环境，包含了大量最新一代的视频和音乐，同时它还具有评论收藏功能，方便以后注册的用户观看后有更深入的体验，引起共鸣，丰富了人们的娱乐生活.
在CV领域，CNN一直是各个技术方向最主流的算法，卷积由于其具有局部连接和权重共享的特性，取得了很好的效果。随着Transformer技术在自然语言处理领域取得了丰硕的成果，CV领域也开始尝试将Transformer 技术用于处理图像和视频信息。从2020年的ViT开始，图像分类、目标检测、视频分割等多个技术方向的研究人员都在探索如何将Transformer 技术在NLP中取得的成功借鉴到CV领域，并已经取得了一定的成果。
在计算机视觉中，视频识别和检测是一个重要的方向。历年来CVPR和ICCV等顶会文章中这类论文是最多的。视频识别和检测也是最有落地场景前景的，像人脸识别、动作检测、异常检测、行人重识别、行人计数等都是很有落地前景的应用方向。本文介绍百度PaddlePaddle推出PP-Human行为识别模块，覆盖视频分类、检测、关键点识别等重要领域，既有demo又有代码，是初学者很好的入门学习资料。
最近，“AI作画” 产出的作品似乎成了一股互联网风潮。这些初看惊艳、气氛拉满，仔细琢磨又看不出所以然的画作往往给人留下深刻印象。今天大叔给大家一个 AI 领域相当优秀的 GitHub 开源项目。目前 star 数 9.9k。
本文分享由达摩院、新加坡国立大学以及新加坡南洋理工大学在ICLR 2022上合作发表的论文『TAda! Temporally-Adaptive Convolutions for Video Understanding』，旨在赋予空间卷积时序推理的能力，提出即插即用的时序自适应卷积 TAdaConv，并构建高效的视频理解模型 TAdaConvNeXt，表现SOTA！
在技术方面：这套系统主要是应用java语言进行开发设计的，在系统开发框架上采用了ssm框架作为主框架进行开发的。在项目中集成了：mysql/mybatis、vue等技术，基本上是属于一个java框架的技术范围。该项目采用技术：jsp +servlet +mysql+jdbc+css+js等相关技术，对于学习来说还是相对比较容易上手和掌握的。一般是接触过java开发的同学都能上手学习。可以用于毕业设计、课题设计、作业等场景上使用。另外这个项目是开源的，所以可自动下载使用。
来自百度的深度学习工程师，围绕计算机视觉领域的八大任务，包括：图像分类、目标检测、图像语义分割、场景文字识别、图像生成、人体关键点检测、视频分类、度量学习等，进行了较为详细的综述并形成此文。
多通道卷积不同的通道上的卷积核的参数是不同的，而3D卷积则由于卷积核本身是3D的，所以这个由于“深度”造成的看似不同通道上用的就是同一个卷积，权重共享嘛。
短视频在当下社交媒体逐渐成为主导的视频格式。传统视频处理技术和研究一般都专注于横屏视频的理解和解析，而竖屏视频因其拍摄手法和内容重点不同，展示出与横屏视频数据不同的特性。
从本讲开始，我们开始视频管理功能的开发，视频管理包括视频上传、视频列表、视频编辑、视频删除。另外还有视频分类的功能，会一同讲解。这一讲非常重要，因为你将学习到一些之前没有学过的技术，比如大文件上传技术。
本文介绍了基于LSTM的短视频分类方法，包括数据预处理、特征提取、模型训练和结果分析等步骤。实验结果表明，该方法在短视频分类中取得了较好的效果，能够准确识别不同的短视频类别。
视频分类问题在视频标签、监控、自动驾驶等领域有着广泛的应用，但它同时也是计算机视觉领域面临的一项重要挑战之一。
百度深度学习工程师，围绕计算机视觉领域的八大任务，包括：图像分类、目标检测、图像语义分割、场景文字识别、图像生成、人体关键点检测、视频分类、度量学习等，进行了较为详细的综述并形成此文。
本文盘点所有CVPR 2020 动作识别（Action Recognition ）相关论文，该方向也常被称为视频分类（Video Classification ）。从后面的名字可以看出该任务就是对含人体动作的视频进行分类。
Cola主题是基于EMlog开源程序开发的成品模板，目前EM的主题市场不缺各种多功能主题，但本套主题主要打造简约而不简单为主，没有多余的花俏，功能实用，SEO简单优化。Cola主题适用于博客站、图片站、多媒体分享站、下载站！
TimeSformer即Time-Space Transformer，这是第一个完全基于Transformer的视频架构，近年来已经成为许多自然语言处理(NLP)应用程序的主要方法，包括机器翻译和通用语言理解。
AI科技评论按：近日，FAIR 研究工程师吴育昕和研究科学家何恺明联名著作的一篇论文 Group Normalization 提到了一种新的训练神经网络的方法。该方法称为群组归一化（Group Normalization），试图以群组方式实现快速训练神经网络，这种方法对于硬件的需求大大降低，并在实验中超过了传统的批量归一化方法。 批量归一化和群组归一化 批量归一化（Batch Normalization，以下简称 BN）是深度学习发展中的一项里程碑式技术，可让各种网络并行训练。但是，批量维度进行归一化会带来
来源：PaperWeekly 本文共1296字，建议阅读6分钟。 本文为你分享9款实用的AI开源项目，功能强大，值得收藏！ Semantic Segmentation PyTorch #PyTorch上最好的语义分割工具包 本项目是由 MIT CSAIL 实验室开源的 PyTorch 语义分割工具包，其中包含多种网络的实现和预训练模型。自带多卡同步 bn，能复现在 MIT ADE20K 上 SOTA 的结果。 ADE20K 是由 MIT 计算机视觉团队开源的规模最大的语义分割和场景解析数据集。 从右至左：
高君宇，中国科学院自动化研究所博士生，导师为徐常胜研究员。研究方向为基于深度学习的视频理解与应用。在IEEE Transaction on Image Processing（TIP）、CVPR、AAAI、ACM MM等CCF推荐的A类期刊、会议中发表多篇一作论文。获得了国家奖学金、中国科学院大学三好学生、三好学生标兵、百度奖学金、必和必拓奖学金、Rokid奖学金等。
欢迎大家来到《知识星球》专栏，这两天有三AI知识星球专注更新3D卷积和视频分类/行为识别相关的网络以及相关数据集的介绍和下载。
随着移动互联网的发展短视频系统开发越来越多，并且APP的种类也是越来越多，但如果说到当今最流行的APP那就肯定为短视频系统开发了。现在几乎人们都会喜欢在一些短视频APP上面去刷视频去用来消磨自己的一些无聊时光，并且还以一部分人会利用这种APP去为自己赚取利益。
TimeSformer 是首个完全基于 Transformer 的视频架构。近年来，Transformer 已成为自然语言处理（NLP）领域中许多应用的主导方法，包括机器翻译、通用语言理解等。
iDT算法框架主要包括：密集采样特征点，特征轨迹跟踪和基于轨迹的特征提取三个部分。 光流：在时间间隔很小的情况下，视频像素位移 特征提取:通过网格划分的方式在多尺度图像中分别密集采样特征点。通过计算特征点临域内的光流中值得到特征点运动方向。
在视频理解和推理的场景中，空间卷积被大量应用，它建立的基本假设是卷积核由所有的时空位置共享，然而这种方式受限于卷积神经网络的特性，无法进行时序推理，进而不能胜任很多常见的时序下游任务。
百度家的飞桨 PaddlePaddle 是首款开源开放的产业级深度学习平台，可以很方便搭建模型。
最近，各大视频平台实时更新着冬奥赛场上的精彩瞬间集锦，谷爱凌、武大靖、苏翊鸣等运动健儿们勇闯佳绩，可喜可贺！在为中国体育的强大实力感动、欣喜的同时，我们也关注到了体育竞技背后的一些AI产业应用，比如通过动作识别技术辅助运动员日常训练和比赛打分，利用智能分类与自动化剪辑等AI技术大幅降低体育视频内容处理的人力和时间成本等。
【导读】Facebook何恺明和RGB两位大神最近提出非局部操作non-local operations为解决视频处理中时空域的长距离依赖打开了新的方向。文章采用图像去噪中常用的非局部平均的思想处理局部特征与全图特征点的关系。这种非局部操作可以很方便的嵌入已有模型，在视频分类任务中取得的很好的结果，并在在静态图像识别的任务中超过了何恺明本人ICCV最佳论文的Mask R-CNN。何恺明等人提出新的非局部通用网络结构，超越CNN。 何恺明博士，2007年清华大学毕业之后开始在微软亚洲研究院（MSRA）实习，2
这周优化了我们沙抖官网搜索的功能，这个搜索目前是根据视频标题进行匹配，之前是对用户输入的关键词进行了分词查找，比如用户输入【机器人】,这样的话，只要视频标题中有关键词的任意一个字都会被搜到，比如含有【人】字的标题会展示出来，并可能排的很靠前，所以我就对当前的搜索进行了优化，现在搜索是优先进行相邻短语查询 match_phrase，如果相邻短语查询结果小于2个就进行普通的分词查询，这个相邻短语查询是要求在请求字符串中的所有查询项必须都在文档中存在，文中顺序也得和请求字符串一致，且彼此相连。这样查询的话，标题中含有【机器人】的结果肯定在前。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
