深度学习技术如何按照艺术大师的风格来绘制影片

多亏有了 Instagram 与 Snapchat,很简单就能在照片和影片上加入滤镜效果,但是要是能按照梵谷“星夜”或孟克“吶喊”的风格来重新绘制手机上的影片,那又会是什么情况?

一支来自德国弗莱堡大学的研究团队,采用称为深度学习的人工智能技术,朝着这个目标迈出了一大步。

研究团队开发出一项方法,利用深度神经网络来从一项画作来源撷取特定的艺术风格,接着将这些信息与另一支影片进行合并。NVIDIA GPU 让他们能完成这项需要庞大运算能力的工作,产生出令人惊讶的结果。

有长期记忆的算法

过去的研究工作成功采用深度学习技术,将一帧影像的艺术风格搬到另一帧影像上。早期的研究工作发现深度神经网络在处理影像时,其神经活动会对笔触、色彩和其它抽象细节等影像的风格信息进行编码,再将此风格套用到神经网络视为第二帧影像的内容上。

不过在影片里有大量动态画面,将静态影像的画作风格套用到影片的每个影格上并非那么简单。

弗莱堡大学博士后研究员 Alexey Dosovitskiy 说:“倘若只是在每个影格上套用算法,影片的风格会不一致,会出现闪烁的画面。我们则是提出更多的限制项,让影片画面看起来更一致。”

Dosovitskiy 与其他研究员控制各影格间的变化程度,以达到影片出现一致画面风格的目标,而此举出现了三大难题:

1.画面里的角色在场景间移动时,应有一致的风格

2.背景等静态元素应在各影格间维持一致的风格

3.角色离开视野后,背景应回到角色移动前的样子

研究团队的算法加入限制项来解决连续影格风格差异太大的问题,还使用长期偶发事件技术来辅助连续性,该区域再次出现时,便会复制稍早从多个影格里同一场景同一区域的影像构成内容。

巧妙限制深度学习算法,以在动态影片里产生出更一致的风格。

研究团队使用 NVIDIA GPU,以求落实这项复杂的工作。在 GeForce GTX TITAN X GPU 的辅助下,将画作风格搬到高画质影片的一个影格上耗时8到10分钟,较使用多核心 CPU 的速度快上20倍。

“这是一项极为耗时的工作,从这里就能看出 GPU 的重要性。”Dosovitskiy 说。

研究团队还使用对于存储器要求较少的 cuDNN 深度学习软件,来执行将艺术风格搬到高画质影片上的工作。多 GPU 系统虽能加快处理速度,目前仍达不到实时搬动的目标。

到目前为止研究团队已在直播和动态影片上套用过这项算法,两者皆呈现出优秀的渲染结果,不过 Dosovitskiy 觉得观看者对于直播画面会要求更多。

“人们对于画面闪动非常敏感,在看影片之际,就算闪动的程度极小,还是能感觉到。”他说。

原文发布于微信公众号 - 吉浦迅科技(gpusolution)

原文发表时间:2016-06-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

这个机器人太牛了,陌生物体抓取识别成功率高达100%

给杂货拆包是一件简单但乏味的工作:手伸进包里,摸索着找到一件东西,然后把它拿出来。简单瞄一眼之后,你会了解这是什么东西,它应该存放在哪里 如今,麻省理工学院和普...

41980
来自专栏量子位

如何让强化学习走进现实世界?DeepMind要用“控制套件”推动

夏乙 编译整理 量子位 出品 | 公众号 QbitAI 火遍全球的AlphaGo让我们知道了强化学习打游戏究竟有多6,这么强大的算法什么时候才能打破次元壁,走进...

34530
来自专栏机器之心

从GPU、TPU到FPGA及其它:一文读懂神经网络硬件平台战局

49040
来自专栏人工智能头条

五月人工智能博文Top10

9120
来自专栏量子位

AI科学家们,有驯兽师要向你们传授两点必看的人生经验

李林 编译整理 量子位 出品 | 公众号 QbitAI 训练人工智能系统,和驯兽很像。 用动物做类比能帮普通人理解人工智能中很多复杂的方面,也能帮我们思考怎样让...

28160
来自专栏机器人网

工业机器人应该着重注意哪些参数?

技术参数是不同工业机器人之间差距的直接表现形式,不同的机器人技术参数特点不同,对应了它们不同的应用范围,工业机器人是高精密的现代机械设备,参数众多,企业挑选工业...

37380
来自专栏AI科技评论

模仿大脑的结构制造AI地图,美国已经有大神在做了

GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,谷歌,DeepMind,Uber,微软等巨头的人...

29390
来自专栏机器人网

如何让机器人认识“长颈鹿”?

带个三岁小娃去动物园,她凭直觉就知道这个在吃树叶的长脖子生物就是她图画书中叫做“长颈鹿”的动物。这看起来很平常,但其实非常了不起。图画书里是一个单线条组成的静态...

28480
来自专栏PaddlePaddle

从第一本书开始,如何成为深度学习工程师(上篇)

小编结合资料与工程师经验,梳理出一条深度学习工程师的成长路径及“练级大法”,希望可以帮到各位“炼丹师”稳步进阶,畅游深度学习海洋~

11420
来自专栏量子位

清华马少平教授详解:人工智能能做什么?

原文刊载于 明略数据(Minglamp_BigData) 量子位 | QbitAI 已获授权编辑转载 这是7月下旬,马少平老师在明略数据内部做的一个分享,基于此...

39260

扫码关注云+社区

领取腾讯云代金券