专栏首页量子位杜甫在线演唱《奇迹再现》、兵马俑都能开口说话……微博网友用AI技术分分钟打破次元壁

杜甫在线演唱《奇迹再现》、兵马俑都能开口说话……微博网友用AI技术分分钟打破次元壁

鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI

霍格沃茨的同学们都知道,想要进入格兰芬多休息室,得先过胖夫人这一关。

所以,会说话的照片/画像它科学吗?

其实,在AI时代的麻瓜世界里,这早就不算事儿了。

不信,你看看这个激情演唱迪迦奥特曼主题曲《奇迹再现》的杜甫:

网友:0202年,杜甫越来越忙了

还有这个目光如炬,侃侃而谈的明太祖朱元璋:

以及从大秦帝国穿越而来的这位大哥:

‍‍

谁见了不得喊一句:鹅妹子嘤。

想必你已经猜到了,这样的「魔法」依然是由AI带来,涉及的技术包括图像生成运动估计等等。

而打造这些作品的,就是那位给100年前的北平城上色的独立艺术家、微博博主@大谷Spitzer。

就仅仅在8月份月,@大谷Spitzer 在微博上先后被@人民日报 、@央视新闻、@头条新闻 等诸多媒体和微博大号“点名”,粗略统计微博上关于他的视频总播放量达数千万。

用一个时下热门的词来说,@大谷Spitzer 这位原本将自己定位为“游戏”的博主,凭借AI还原技术一夜之间在微博“出圈”了。

背后的AI黑科技

那么,AI具体是怎么让这些艺术作品动起来的呢?

大谷介绍,基于YouTube大神Denis Shiryaev的教程,他这次用到的AI项目分别是(链接见文末):

  • Artbreeder
  • StyleGAN-Art
  • Realistic-Neural-Talking-Head-Models
  • First-Order-Model(加文章超链)
  • DAIN
  • Topaz Labs

Artbreeder

Artbreeder是一个基于生成对抗网络(GAN)技术的在线图像生成网站。

在Artbreeder上,用户可以通过调整滑块,来创建不同风格的人像、动画。

StyleGAN-Art

StyleGAN是英伟达在2018年发布的人脸生成模型,支持2014×1024的高清大图生成。

并在2019年升级成为了效果更加逼真、无暇的StyleGAN2

StyleGAN-Art则是经过了特殊调教的StyleGAN,专注于肖像画的生成。效果是酱婶的:

Realistic-Neural-Talking-Head-Models

这项研究来自莫斯科三星AI中心和斯科尔科沃科学技术研究所。

只需要少量图像样本,就能学习到高度逼真和个性化的目标人物面部模型。甚至对于肖像画也一样适用。

First-Order-Model

一张名人照片,加上随便一段视频,就能让照片里的人物分分钟动起来。

比如输入一段川普的视频,原本静止在画面中的史塔克们,也忍不住跟着动了起来。

这就是来自意大利特伦托大学的「First-Order-Model」。

DAIN

DAIN是上海交通大学开发的插帧算法,能把30fps的视频一口气插帧到480fps,让视频丝滑流畅,毫无卡顿。

看琦玉老师这丝滑的披风

并且,这项技术不仅适用于真实拍摄的视频,电影、定格动画、动漫都能搞定。

Topaz Labs

Topaz Labs的能力,是基于机器学习技术和trimap技术,增加照片的分辨率,补充像素细节。

提供添加蒙版,AI色彩、细节增强,AI降噪,无损失放大等功能。

不过,这是一系列收费软件。

当然,除了这些AI黑科技,作者的耐心调教也是不可或缺的。

大谷本人也在接受新京报采访时坦承,制作过程中,翻车的例子也不少。

没有点亮AI技能点怎么办?

最后的最后,还有一个问题:

如果没有点亮AI技能点,就不能亲自体验这样的「魔法时刻」了吗?

或许,你可以期待一下Adobe的产品。

在去年的Adobe MAX大会上,Adobe露了这么一手:加入音轨,画中人就能一键对口型。

哪怕只是简笔画,也能被赋予自然的动态。

Adobe表示,在不远的将来,这样的功能可能会出现在Adobe全家桶里面,作为新增功能或新产品出现。

介时,穿越到哈利波特的世界还不是分分钟的事?(狗头)

传送门

完整视频: https://weibo.com/1649367031/JhgqvED8r?filter=hot&root_comment_id=0&type=comment https://weibo.com/2395607675/JhqwlENKe?filter=hot&root_comment_id=0&type=comment

Artbreeder: https://www.artbreeder.com/

StyleGAN-Art: https://github.com/ak9250/stylegan-art

Realistic-Neural-Talking-Head-Models: https://github.com/vincent-thevenin/Realistic-Neural-Talking-Head-Models https://arxiv.org/abs/1905.08233

First-Order-Model: https://github.com/AliaksandrSiarohin/first-order-model https://arxiv.org/abs/2003.00196

DAIN: https://github.com/baowenbo/DAIN https://sites.google.com/view/wenbobao/dain

本文分享自微信公众号 - 量子位(QbitAI),作者:关注前沿科技

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-08-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 墙后的所有姿势,全被“瞎眼”AI透视

    现在,MIT CSAIL的一群科学家,就用AI构建了一双透视眼。你在墙后的一举一动,它就都能看见。这项研究,作为spotlight论文发表在CVPR 2018上...

    量子位
  • 2019年Reddit机器学习板块17个最佳项目:最新代码、资源应有尽有

    2019年即将过去。国外最热论坛Reddit的机器学习板块,也为大家提供了一个优秀的学习讨论场所。

    量子位
  • 吴恩达获英特尔投资!这次,英特尔拿出7.85亿砸向AI创业公司

    英特尔投资在其全球峰会上宣布,拿出1.17亿美元(约合人民币7.85亿)投资14家创业公司。

    量子位
  • 学习AI可能不需要那么多数学知识:20小时进阶计划

    大数据文摘
  • 2019年Reddit机器学习板块17个最佳项目:最新代码、资源应有尽有

    2019年即将过去。国外最热论坛Reddit的机器学习板块,也为大家提供了一个优秀的学习讨论场所。

    量子位
  • 确认完虐人类!OpenAI Five摆三天擂台,胜率达到99%

    上周,Dota2世界冠军OG被OpenAI以2:0的战绩秒杀,许多网友看完比赛后称:“随便打的吧!”

    新智元
  • NLP简报

    欢迎来到 NLP 时事简报!涵盖了诸如特定语言 BERT 模型、免费数据集、深度学习库等主题。

    kaiyuan
  • 51 个深度学习目标检测模型汇总,论文、源码一应俱全!

    目标检测(Object Detection)是深度学习 CV 领域的一个核心研究领域和重要分支。纵观 2013 年到 2019 年,从最早的 R-CNN、Fas...

    OpenCV学堂
  • 51 个深度学习目标检测模型汇总,论文、源码一应俱全!

    目标检测(Object Detection)是深度学习 CV 领域的一个核心研究领域和重要分支。纵观 2013 年到 2019 年,从最早的 R-CNN、Fas...

    小小詹同学
  • “每天AI资讯这么多!该看哪些?”推荐一份优质资料清单

    原作 BAILOOL & meetshah1995 Root 编译自 GitHub 量子位 出品 | 公众号 QbitAI 人工智能最近火到炸裂,不看吧担心和时...

    量子位

扫码关注云+社区

领取腾讯云代金券