专栏首页大数据文摘Adobe又逆天!不用机器学习,用13.5M软件把《长安十二时辰》变成水墨动画

Adobe又逆天!不用机器学习,用13.5M软件把《长安十二时辰》变成水墨动画

大数据文摘出品

作者:曹培信

用过修图软件的同学们应该都知道,利用强大的GAN,已经可以实现一键转换照片风格的功能,比如将你拍的风景照转换成一副印象派的画作。

现在,轻松转换视频风格的软件也诞生了!

Secret Weapons发布了一款简单而又强大的软件EbSynth,由布拉格捷克技术大学和Adobe共同研发。这款只有13.5M的免费工具,轻松几步就可将视频素材转换为各种你想要的风格“动画”。

该软件将一个或多个手动生成的key帧的样式应用的视频的每一帧上,从而完成整个视频的风格迁移。

简单来说,就是从一段视频中选出几幅图,换成你想要的风格,录入程序,整个视频就能全部变成你想要的画风了。

像这样?

想想看,各种特效制作、或者动画画师如果有了这一技术的加持,可以只挑选其中某个镜头进行特效处理,然后用这个软件瞬间获得大片视频,五毛也能做出酷炫特效!

Secret Weapons目前免费开放下载,文摘菌也亲自试了下这款神奇的软件,挑选了目前超火的视频《长安十二时辰》视频片段,看看能否把它变成更加中国风的水墨画。

先来看看最后的效果,非常不错?

更有趣的是,Adobe这次的研究没有使用机器学习,到底如何操作?一起看看。

文摘菌实测,看水墨风《长安十二时辰》

第一步:下载、安装软件

软件下载链接:

https://ebsynth.com/

有Windows版本和IOS版本,会根据你的机型自行下载适配的软件。文摘菌用的是Windows系统。下载之后是个压缩包,解压即可。

第二步:准备素材

这个软件的使用需要一段视频,文摘菌决定使用现在大火的电视剧《长安十二时辰》里的一个片段。

视频下载后就要将素材转化为一帧一帧的图,这里文摘菌用的是Premiere来实现这一步,推荐转换成PNG格式。

生成帧图的教程可以查看链接:https://blog.csdn.net/qq_28372745/article/details/80743531

这样就得到了一系列的PNG图片,存放到一个文件夹中。

然后我们要将其中的某几张图改为参照的Key图,这里又要向大家安利一个免费网站——Fotor。

相关链接:

http://goart.fotor.com/

这个网站可以把本地的图片在线修改成你想要的风格,修改为水墨风的图片就是我们的key图啦~

第三步:开始渲染

我们运行ebsynth软件,界面如下:

在Keyframes中选择刚才制作的key图(至少一张),Video中选择刚才制作的一系列PNG图,下面的Stop填写开始图片序号和结束图片序号,Keyframe填写Key图的序号。

点击Run all,就开始渲染啦,渲染结束后就会自动输出一个文件夹Out,里面就是渲染好的所有PNG图,再将这些图用Premiere做成视频就OK了!

生成视频的教程可以查看链接:

https://zhidao.baidu.com/question/1574197317740227060.html

下面是文摘菌得到的结果,效果还不错!

为了让大家更清楚地了解Key图的作用,文摘菌在这里使用了两张Key图,可以看到视频中间风格的变化。

并非机器学习,Adobe参与研究

EbSynth是基于布拉格捷克技术大学和Adobe共同的研究,该项目由Secret Weapons创始人Ondřej Jamriška领导。

EbSynth网站显示了该团队最新论文“Stylizing Video by Example”的演示视频。

论文链接:

https://dcgi.fel.cvut.cz/publications/2019/jamriska-tog-ebsynth

视频链接:

https://www.youtube.com/watch?v=0RLtHuu5jV4

与该领域的其他研究不同,它不是基于机器学习,而是基于最近在风格迁移和纹理合成方面的研究,使用的是非参数纹理合成算法。

早在2013年,已经有人提出了关键帧程式化范式,艺术家在其中绘制一个或多个关键帧一个Key图,然后算法将绘制的样式同步到序列的其余部分。

EbSynth与上述方法主要区别在于,它不需要知晓目标场景的底层3D结构。相反,EbSynth通过获得输入视频的原始颜色信息和近似位置信息进行转换,再加上patch-based合成算法,EbSynth在保持艺术意图的同时,视觉效果也相当卓越了。

该算法主要由五个引导模块组成(如上图所示):

  • Color guide:捕捉外观变化,例如:面部表情、细微的布料变形、不同的光照等;
  • Mask guide:帮助算法区分对象的边界来处理遮挡。这个功能是可选的,当在视频中没有严重的遮挡或不需要精确地描绘对象边界可以选择不使用该模块;
  • Positional guide:帮助算法保持关键帧的结构,处理不同特征之间的模糊性相似;
  • Edge guide:突出了对象的边缘和突出特征,防止漏掉细节;
  • Positional guide:保持风格在时间上的一致性,避免与前帧有明显的变化。

尽管已经达到了这样的效果,作者在论文中还是说明了这种算法有一定的局限性,比如人物身上光照的变化可能会对Color guide引起误导,从而出现文摘菌在实测视频中出现的由于更换Key帧引起的结构变化,作者表示这是他们下一步努力的方向。

相关报道:

http://www.cgchannel.com/2019/07/free-tool-ebsynth-turns-video-into-hand-painted-animation/

本文分享自微信公众号 - 大数据文摘(BigDataDigest),作者:文摘菌

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Youtube爆火视频 | 用TensorFlow+40行代码识别手写数字图像

    大数据文摘
  • 你看到的可能是假的奥巴马?没错,还真是假的!

    大数据文摘
  • 视频更新|斯坦福CS231n深度学习与计算机视觉课时19-卷积神经网络的可视化与进一步理解(下)

    大数据文摘
  • MIT 对抗学习和无监督学习最新进展:机器学会创作视频,预测人类行为

    【新智元导读】LeCun曾在演讲中提到,2016年深度学习领域最让他兴奋的技术莫过于对抗学习,而无监督学习一直都是人工智能研究者孜孜追求的“终极目标”之一。MI...

    新智元
  • 5分钟上手视频压缩神器:HandBrake

    虽然配置的界面看起来很复杂,不过不用担心,其实视频压缩最关键的因素就是码率,视频的码率决定了最终视频文件的大小。

    savokiss
  • 镁客请讲 | 慧川智能康洪文:打造一个“AI+视频云平台”的中央厨房

    眼下,以抖音、快手、梨视频为主要代表的短视频领域逐渐崛起。有数据显示,2017年短视频市场规模达57.3亿,同比增长达183.9%,预计到2020年,这一市场规...

    镁客网
  • Instagram视频上传延迟优化

    视频传输延迟,尤其是在某些互动社交环境中,会严重影响用户的体验。Instagram多年来以降低视频上传延迟为重要指标,实现了多种优化策略。本文来自Instagr...

    LiveVideoStack
  • 我什么都没做,文章就自动变成了视频?AI神器解放视频编辑丨百度研究院出品

    只要有一篇现成的图文链接,AI就可以根据图文描述的主题,重新组织语言,自动搜寻素材,剪出一条短视频。

    量子位
  • struts2学习视频第一天第一节

    视频内容

    奋斗蒙
  • 周杰伦读心术背后的技术实现

    前言   在技术细节的内容开始之前,您可以先通过下方的二维码再次体验这个魔术。 image.png image.png 一、HTML 1.设置meta <m...

    袁佳平

扫码关注云+社区

领取腾讯云代金券