基于深度学习的视频内容识别

好久未和老相好的您们面对面的知识交流过,不知道大家最近科研是否顺利,有没有新的想法和创新,我都会祝学术界的您科研硕果累累,祝工业界的您工程完善更多智能化功能,造福人类,推动人工智能的进步!今天给您讲讲视频大数据和视频内容的识别(部分内容来自复旦大学-计算机科学技术学院薛向阳、姜育刚,谢谢参考阅读)。

视频大数据

作为目前最火热的词汇之一,大数据在各个领域都已有了较为成熟的应用。在视频监控领域,大数据时代正悄悄来临。

现代社会的信息量正以飞快的速度增长,这些信息里又积累着大量的数据。预计到2025年,每年产生的数据信息将会有超过1/3的内容驻留在云平台中或借助云平台处理。我们需要对这些数据进行分析和处理,以获取更多有价值的信息。在未来的“智慧城市”中,会有越来越大的结构化以及非结构化的数据。那么我们如何高效地存储和管理这些数据,如何分析这些数据呢?

答案是:我们需要强有力的大数据处理系统进行支撑。

在城市安全、交通管理中将部署大量的视频监控设备,这些视频监控设备将产生大量的视频及其相关的数据,如交通卡口数据达到十亿条甚至更大级别,人像库的数据量达到千万条甚至更大级别。

针对如此大级别的数据量,当前系统会逐渐暴露出数据检索速度越来越慢;数据统计、分析效率越来越低等问题,这些问题都需要一个成熟的技术来解决。随着“智慧城市”中城市安全、智慧交通等的迅速发展,城市中非结构化的数据量越来越大。视频大数据技术侧重帮助各类客户从日趋海量的非结构化视频数据中快速发掘高价值的信息,协助客户提升其决策的效率和精准度。因此,视频大数据的处理好坏成了客户关注的焦点,视频大数据的处理技术也成了厂家能力的体现。

针对“智慧城市”建设中大量视频数据的快速检索、统计分析的需求,海康威视,佳都科技等视频领域的领军企业已有了成熟的视频大数据的解决方案,目前已应用多个“智慧城市”的建设中。

视频大数据技术能够解决当前系统处理海量视频及相关数据能力不足的问题,帮助客户从海量的视频数据中快速挖掘高价值的信息,协助客户提升其决策的效率和精准度。可以预见在未来的“智慧城市”建设中,视频的数据量会爆炸性增长,对海量视频数据处理系统的要求会越来越高,对视频数据挖掘的能力要求越来越强,视频大数据平台将引入越来越多的AI机器学习,深度学习、智能图算法等尖端技术来提高整个系统的智能化水平。

q全球互联网分析报告(由思科公司发布)

  • 在2019年,全球每月产生互联网视频的总时长将会达到五百万年;
  • 全球互联网视频流量占总流量的比例预计将由2014年的67%增长至2019年的80%;
  • 消费视频点播流量将在2019年之前增长一倍。

我们还是来说说视频内容的知识,先来说说现在这领域的视频数据集的构建。

哥伦比亚消费视频数据集

  • Originalunedited videos captured by ordinaryconsumers Interestingand very diverse contents;
  • Veryweakly indexed;
  • On average, 3 tags per consumer video on YouTube vs. 9 tags each YouTube video has。

Y.-G. Jiang et al., Consumer Video Understanding: A Benchmark Database and An Evaluation of Human and Machine Performance, ACM ICMR 2011.

大规模动作识别比赛的数据

  • THUMOSChallenge

101类别;分别与ICCV2013、ECCV2014、CVPR2015合办

深度视频学习

Video Classification with Regularized DNN

Z. Wu, Y.-G. Jiang et al., Exploring Inter-feature and Inter-class Relationships with Deep Neural Networks for Video Classification, ACM Multimedia 2014 (full paper)

Feature Fusion

Bothearly fusion and late fusion neglect the hidden correlations across differentfeatures.

ClassRelationships

Similar Video Semantics

Approach

DNNLearning Scheme

- Calculate prediction error

- Update weights in a BP manner

在该过程,注入了特征和类别关系。



Algorithm:

1、先初始化权重,Ω和Ψ是单位矩阵。

2、有一个循环,预测误差和更新权重矩阵,更新特征及类别关系Ω和Ψ。

其他框架:

Two-Stream CNN

Hao Ye, Zuxuan Wu, Rui-Wei Zhao, Xi Wang, Yu-Gang Jiang, et al. Evaluating Two-Stream CNN for Video Classification, ICMR 2015


Z. Wu, X. Wang, Y.-G. Jiang et al., Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification, accepted to ACM Multimedia 2015 (Full Paper)


Z. Wu, X. Wang, Y.-G. Jiang et al., manuscript under review.


特征融合方法 目标函数:

经验损失。可以是Logistic回归:

然后加一个类别关系的正则项:

在训练过程中,是通过相关系数矩阵V得到:

其可以从高相关类中学习有用的知识。

最后再加一个参数W的正则项(为了增加鲁棒性),整个公式为:

最后附一个视频小样仅供参考:


原文发布于微信公众号 - 计算机视觉战队(ComputerVisionGzq)

原文发表时间:2017-08-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

【数学】统计:P值只是冰山一角

? 没有哪个统计值比P值更富于争议了,数百篇博客和论文围绕许多统计学家嗤笑的“零假设显著性检验”展开。(null hypothesis significanc...

40160
来自专栏新智元

机器学习先驱 Michael I. Jordan 清华演讲:更好的分布式机器学习(PPT)

【新智元导读】今天,机器学习诸多理论的主要奠基人、美国三院院士 Michael I. Jordan受聘为清华大学访问教授,同时发表主题报告。Jordan认为,大...

51660
来自专栏AI研习社

为什么现在人工智能掀起热潮?

20世纪50年代,John McCarthy开创了Artificial Intelligence(简称AI)这个词,一下子就和Marvin Minsky一起,成...

12030
来自专栏深度学习自然语言处理

资料 |《深度学习500问》,川大优秀毕业生的诚意之作

今天,给大家推荐一本还未完成的深度学习书籍——《深度学习500问》。为什么要推荐一本未完成的书?

11520
来自专栏人工智能头条

【AI每日播报】周志华最新论文、Redis之父9条忠告、百度又搞了个大新闻

26530
来自专栏AI科技评论

李飞飞北京演讲:AI会改变世界,改变AI的又会是谁?

AI科技评论按:2017年1月15日,李飞飞教授出席未来论坛2017年会暨首届未来科学颁奖典礼,发表名为《视觉智能的探索》 (The Quest for ...

32960
来自专栏DT数据侠

双11产出1.7亿张素材的“智能设计师”,是如何做到的?

阿里人工智能设计师“鲁班”,在2016年的双十一期间设计了1.7亿数量级素材,这样的产出,需要100个设计师不吃不喝连续做300年。依靠庞大数据量取得的惊人成果...

13620
来自专栏AI研习社

如何优雅地躲避学术地雷 | AI阅读研究所·第1期

策划 / 晋阳 编辑 / 吴璇 数字时代的今天,从各个渠道涌来的各种碎片化信息数不胜数。对于 AI 领域,每天会涌现一大波国内外的技术博文、论文、文档等等。 习...

37460
来自专栏新智元

AI和机器学习想取得进展,首先要规范研究报告

【新智元导读】从小有“学术天才”之称的 Kamil Tamiola 将计算生物学和机器学习相结合,组建了自己的创业公司。他表示,当年最痛苦的事情就是“科学写作”...

31560
来自专栏新智元

深度学习是否以蛮力取胜?

Vladimir Vapnik 介绍: Vladimir Vapnik 被称为统计学习理论之父,他出生于俄罗斯,1990 年底移居美国,在美国贝尔实验室一直工作...

39070

扫码关注云+社区

领取腾讯云代金券