艺术滤镜视频来了!腾讯人工智能首创深度网络学习视频

腾讯18周年庆当天,腾讯人工智能实验室(AI Lab)首次发布深度网络学习视频案例——《青春无畏,冲动不止》庆生视频的艺术滤镜版本

今年风靡业界的Prisma以及天天P图的“潮爆艺术画”,能够将用户拍摄的照片变换成指定的风格。它不仅仅是一个简单的图像滤镜操作,它赋予深度神经网络学习任意艺术风格的能力,并且能够应用到任意的输入图像中,是以深度学习为代表的AI技术在艺术上的创新。

视频是未来互联网上最多的流量载体。“未来 70%、80% 的流量可能都出自视频”。 在图像风格变换引起爆发性关注之后,一系列的公司,譬如Aristo, Prisma, Philm等都开始聚焦短视频的风格变换,包括对 AI一向深切关注的 Facebook 也将推出视频风格变换技术(智能手机移动端)。

将风格变换技术由图像向视频拓展最为直接的方式就是使用图像风格变换的技术逐帧完成视频的变换,但是这样很难保证视频帧间风格的一致性。为此Ruder 等人提出了一种迭代式的做法[1],通过帧间的运动信息来约束视频的风格变换。但是这种方法在执行图像生成的时候复杂度很高,耗时很长。

因此,如何构建有效的深度学习模型来学习视频的空间域以及时间域的特性以完成视频风格变换是学术界以及工业界一个重要的研究课题。这个深度学习模型需要:1,在空间域上可以将名画元素有效的提取出来并学习应用;2,在时间域上保持变换风格的时间一致性(temporal consistency);3,保证计算的高效性以支持更多的实际应用场景。这也是包括Facebook和Stanford University等业界领先的研究团队比较关注的研究课题。

但是迄今,业界的研究团队仍然没有很好的深度学习模型和高效率(如实时)的解决方案。Stanford University的Justin Johnson (使用前向网络完成图像风格变换的作者[2]) 也谈到“将前向网络与基于光流的时间一致性结合是一个开放性的课题”,他本人认为这种结合是可能的,但是不清楚业界是否有人已经实现,,而且也不太确定这种结合的正确方式。

针对视频风格变换的技术难点,腾讯AI Lab在业界率先构建了深度神经网络将风格变换的前向网络与视频时空一致性结合起来,高效的完成高质量的视频风格变换。腾讯AI Lab设计了独特的深度神经网络,在训练的过程中,使用了大规模、多场景、多特点的视频数据(数千小时)以及相应的风格图像,一方面学习空间域的风格变换特点(在保持原有视频内容的基础上引入给定图像的风格),另一个方面捕捉视频帧之间极其复杂多变的时域特性(产生的风格视频相邻帧之间的时空内容与风格一致)。

更重要的是,腾讯 AI Lab还提出了一种针对视频数据的独特训练过程,使得我们的深度神经网络能够更好地捕捉视频时间域上的一致性信息。在风格视频生成阶段,不用做任何预处理和后处理,将输入视频在风格变换网络上进行一次前向传播,实时输出风格化的视频。同时,为了满足线上需要,腾讯AI Lab也挖掘了模型的深度、宽度对输出质量的影响,并基于此对模型进行压缩且输出质量没有肉眼可见损失。经过优化后的深度模型,已经能够在手机客户端做到针对摄像头数据的实时处理,将用户拍摄的视频画面实时进行风格变换。

作为腾讯AI Lab在将AI技术与腾讯用户需求相结合的尝试,视频风格变换使用的深度模型率先解决了前向网络与视频时空一致性结合的难题。这使我们有理由相信更多的AI技术也能够应用到各类场景下的数据上面(图像/视频,文本,语音等)。

作为腾讯新成立的研究部门,腾讯AI Lab立足于腾讯的大数据和平台,致力于开发新的AI技术,探索新应用和新业务,将AI技术融入产品,满足亿万互联网用户的需求。

参考文献

[1] Ruder, Manuel, Alexey Dosovitskiy, and Thomas Brox. "Artistic style transfer for videos." arXiv preprint arXiv:1604.08610 (2016).

[2] J. Johnson, A. Alahi, L. Fei-fei, “Perceptual Losses for Real-Time Style Transfer and Super-Resolution”, ECCV 2016.

原文发布于微信公众号 - 腾讯技术工程官方号(Tencent_TEG)

原文发表时间:2016-11-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

值得收藏的27个机器学习的小抄

15740
来自专栏AI科技评论

独家揭秘| 数据挖掘、机器学习和深度学习之间的区别

导读:机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自...

38050
来自专栏AI科技评论

腾讯 AI Lab 主任张潼博士:机器学习里的优化问题

AI 科技评论按:日前,在由上海财经大学交叉科学研究院(RIIS)主办,杉数科技有限公司协办的「现代运筹学发展讨论会」上,腾讯 AI Lab(腾讯人工智能实验室...

39090
来自专栏数据派THU

干货 | 纽约大学陈溪: AlphaGo Zero技术演进的必然性(附PPT)

本讲座选自纽约大学助理教授陈溪近日在2018第二届杉数科技AI大师圆桌会上所做的题为《 AlphaGo Zero技术演进的必然性-机器学习与决策的有机结合》的演...

14320
来自专栏企鹅号快讯

推荐系统机器学习算法概览

来源:Medium 编译:weakish 编者按:Statsbot数据科学家Daniil Korbut简明扼要地介绍了用于推荐系统的主流机器学习算法:协同过滤、...

46980
来自专栏机器之心

GMIS 2017 | 腾讯AI Lab副主任俞栋:语音识别研究的四大前沿方向

机器之心整理 演讲者:俞栋 5 月 27-28 日,机器之心在北京顺利主办了第一届全球机器智能峰会(GMIS 2017),来自美国、加拿大、欧洲,香港及国内的众...

41580
来自专栏新智元

【DeepMind重大突破】DNN具有人类行为,认知心理学破解黑箱

【新智元导读】DeepMind 的最新论文称自己“首次”将认知心理学方法引入了对深度神经网络黑箱的理解研究中,并用认知心理学的方法发现了深度神经网络存有和人类儿...

34550
来自专栏大数据文摘

业界 | 数据科学家要先学逻辑回归?图样图森破!

12660
来自专栏CDA数据分析师

Kaggle大神经验分享丨如何用15个月冲到排行榜的首位

在最新的Kaggle用户排行榜上,排名第一位的ID是Bestfitting,他本人叫Shubin Dai。Shubin Dai在两年前加入Kaggle,目前生活...

15830
来自专栏CDA数据分析师

正在研究机器学习?我们帮你准备了27个小抄…

机器学习(Machine Learning)有很多方面,当我开始研究学习它时,我发现了各种各样的“小抄”,它们简明地列出了给定主题的关键知识点。最终,我汇集了超...

12530

扫码关注云+社区

领取腾讯云代金券