专栏首页量子位视频换脸新境界:CMU不仅给人类变脸,还能给花草、天气变脸 | ECCV 2018

视频换脸新境界:CMU不仅给人类变脸,还能给花草、天气变脸 | ECCV 2018

圆栗子 发自 凹非寺 量子位 报道 | 公众号 QbitAI

把一段视频里的面部动作,移植到另一段视频的主角脸上。

大家可能已经习惯这样的操作了。

就算目标主角并不是人类,大概也算不上精彩。眼睛鼻子嘴,至少零件齐全

那么,怎样的迁移才可走出这个框框,让这个星球上的万物,都有机会领取视频改造的恩泽?

按着你想要的节奏开花:中老年表情包利器

来自卡耐基梅隆大学的团队,开发了自动变身技巧,不论是花花草草,还是万千气象,都能自如转换。

云,也变得急切了

或许是怀着超越大前辈Cycle-GAN (来自朱俊彦团队) 的意味,团队给自家的GAN起了个非常环保的名字,叫Recycle-GAN

这位选手,入选了ECCV 2018

Recycle之道,时间知道

Recycle-GAN,是一只无监督学习的AI。

不成对的二维图像数据,来训练视频重定向 (Video Retargeting) 并不容易:

一是,如果没有成对数据,那在视频变身的优化上,给的限制就不够,容易产生不良局部极小值 (Bad Local Minima) 而影响生成效果。

二是,只依靠二维图像的空间信息,要学习视频的风格就很困难。

你开花,我就开花

针对这两个问题,CMU团队提出的方法,是利用时间信息 (Temporal Information) 来施加更多的限制,不良局部极小值的现象会减少。

另外,时间、空间信息的搭配食用,也能让AI更好地学到视频的风格特征

时间信息:进度条撑不住了 (误)

重要的是,视频里的时间信息唾手可得,无需寻觅。

然后,看一下Recycle-GAN,是怎样在两段视频的图像之间,建立映射的。

三位选手对比一下

Pix2Pix是有成对数据的;CycleGAN靠的是循环一致性 (Cycle Consistency) ;RecycleGAN用的是视频流的时间信息

翻来覆去的,比CycleGAN的历程还要艰辛。好像终于感受到,Recycle-GAN这个名字是有道理的。

对抗损失 (Adversarial Loss) ,朱俊彦团队的循环损失 (Cycle Loss) ,反复损失 (Recurrent Loss) ,以及CMU团队自己造的“再”循环损失 (Recycle Loss) 都用上,才是强大的损失函数

效果怎么样?

似乎只有和CycleGAN比一场,才知道时间信息好不好用。

第一局,先来看看换脸的效果:

RecycleGAN用奥巴马生成的川川,除了嘴皮子,脸的角度也在跟着变化。而中间的CycleGAN,只有嘴的动作比较明显。

第二局,你见过蒲公英开花的样子么:

当RecycleGAN的蒲公英,学着菊花的动作,变成茂密的团子,CycleGAN还在慢慢地绽放。

注意,团队是预先把两种花,从初开到完全凋谢的时间调成一致。

除此之外,再看云卷云舒 (片头也出现过) :

原本是悠然地移动。

和喷气一般的云,学习了之后,就获得了急躁的节奏。

这样一来,改变天气就不难了。团队说拍电影的成本,可以用这样的方法降下来。

代码也快来了

CMU的科学家们说,大家很快就可以看到代码了。

不过在那之前,我们还是有许多资源可以欣赏。

团队在项目主页里,提供了丰富的生成效果: https://www.cs.cmu.edu/~aayushb/Recycle-GAN/

论文请至这里观察: https://www.cs.cmu.edu/~aayushb/Recycle-GAN/recycle_gan.pdf

最后吐个槽

原本是日落:

看了黎明之前的视频,就跟着变了日出:

可是,日落变日出这样的操作,直接倒放不好么?

本文分享自微信公众号 - 量子位(QbitAI)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-09-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 后台必备意识——柔性可用

    柔性可用是指:当条件有限而不能向用户提供完美服务时,可以以柔性的方式提供有损的服务。

    windealli
  • 话说量化(5)

    钱是越多越好吗?这个问题似乎不用回答,那是肯定的啊。试问在座的各位看客哪位不是在挣钱,挣更多的钱,挣更多更多的钱的路上奔跑着的呢?钱是一种交换物质(当然也可以是...

    刀刀老高
  • 为什么跳槽加薪会比内部调薪要高?

    之后的若干年加薪都是遵循企业内部晋升通道,如果企业加薪幅度赶不上同岗位市场薪酬回报的上涨幅度,就会出现题主所说的现象。

    哲洛不闹
  • 话说量化(4)

    货币——也就是我们俗称的“钱”是世界上最可爱的东西之一,可以说没有它的刺激,也就没有我们现在这么繁荣的市场,也没有这么丰富的各类物质产品和幸福生活。

    刀刀老高
  • 生产制造MES系统中,如何应用报表分析?

    中国制造业产业结构逐步从低附加值传统加工制造业和资源密集型制造业向高附加值新型制造业转型升级。生产制造类企业为了监控项目进度和产品生产情况,会需要制作大量的报表...

    葡萄城控件
  • 话说量化(2)

    市场,是一个很古老的概念了,至少已经有三四千年以上的历史了。较早的关于市场的记录是在古埃及时期,公元前两千多年之前,就已经有“Bazar”这个概念了,汉语里面也...

    刀刀老高
  • “生于忧患,死于安乐”之程序员人生

    没错,大多人的经历都是如此!这样艰苦的奋斗,不断的努力,使我们在这个行业立足。正是这份兴趣、这份毅力、这份坚持支撑着我们,才让我们走到了现在。

    CrazyCodes
  • 作为程序员,有没有让你感到既无语又崩溃的程序命名?

    IT故事会
  • 话说量化(1)

    从今天开始,我来写一个叫做《话说量化》的随笔。主要是最近自己业余也在玩量化交易的模型,那就把一路玩的过程中的感想和碰到的问题记下来,和一起玩的朋友们做个分享。既...

    刀刀老高
  • IT 已成为最疯狂的加班行业,没有之一

    夜幕降临,当IT大楼里依然灯火通明时,那一刻,我仿佛王进喜、石传翔等劳模灵魂附体,我知道我不是一个在加班,我不是一个人!连续9个通宵加班都不是事,一点不夸张,这...

    哲洛不闹

扫码关注云+社区

领取腾讯云代金券