专栏首页Jack-Cui川普的退休生活?不,是AI算法的宅舞演绎。

川普的退休生活?不,是AI算法的宅舞演绎。

一、前言

大家好,我是 Jack 。

最近看到了一个很好玩的算法,人体的动作迁移

给定一张或者多张人物 A 的图像,和一段人物 B 的视频,就可以通过动作迁移算法自动合成一段人物 A 做任务 B 动作的视频

看看阿川老师模仿阿坤老师等人的舞姿:

川普的退休生活,AI 宅舞很专业。

要不是马保国被封杀了,绝对给大家来一段“松果弹抖闪电鞭”。

准备好素材和电脑,今天继续手把手教学

算法原理、环境搭建、效果实现,一条龙服务,尽在下文!

二、Impersonator++

Impersonator++ 的前身是去年发表的 Impersonator。这项工作,上海科技大学的 LiuWen 、Zhixin Piao 等人,探索了三年

去年的 Impersonator 早已入选计算机视觉顶会 ICCV 2019。

又经过了一年多的努力,增强版 Impersonator++ 诞生了。

Impersonator++ 解决了去年算法的泛化性较差,尺度太较小(256 x 256), 以及自动化程度不够高等问题。

Impersonator++ 不仅可以做人体的动作迁移,人体图像合成的其它任务都可以 Cover,例如新视角合成、外观迁移。

它们在重演、角色动画、虚拟试装、电影以及游戏制作等领域具有巨大的应用潜力

动作迁移(模仿)的目标是把 source human image 的动作,变换成 reference human image 的动作。

新视角合成,就是对视角进行转换,比原图是一张正面图,去合成他的背面图。

外观迁移是交换两张图像中人物的外观(如衣服,裤子,鞋子等,但是不包含脸部)。

研究者针对上个版本的问题,探索提出了第二个版本 Liquid Warping GAN with Attention。

整个处理流程分为三个步骤:Body Mesh Recovery、Flow Composition、Liquid Warping GAN。

Body Mesh Recovery 阶段是对所有图片进行三维重建,生成每帧人物的 3D Mesh,然后进行渲染。

Flow Composition 阶段是分离前景和背景,并计算运动需要的一系列旋转矩阵,以备后动作渲染。

Liquid Warping GAN 阶段是生成结果的过程,利用到了背景修复 Inpainting 算法,同时利用 LWB 或 AttLWB 生成头发、衣服等细节纹理。

想要更好的修复效果,可以使用多帧图像作为 Source Image。

更详细的技术细节,可以直接看 paper:

https://arxiv.org/pdf/2011.09055.pdf

三、效果测试

Github 项目地址:

https://github.com/iPERDance/iPERCore

强烈建议使用 Linux 搭建环境,我自己在 Windows 上测试发现存在一些问题,与作者微信联系,他们表示近期会修复。

没有 GPU 的,也可以白嫖 Google Colab,环境都是配好的,直接挨个 cell 运行即可体验。

Google Colab 地址:

https://colab.research.google.com/drive/1bwUnj-9NnJA2EMr7eWO4I45UuBtKudg_?usp=sharing

如果没梯子,那只能用 Linux 服务器搭建开发环境了,或者等 Windows 修复。

Linux 环境配置,没啥问题,直接安装 CUDA 10.1 以上版本,并安装 gcc 7.5+ 和 ffmpeg。

然后下载代码,进入工程目录,使用如下指令安装依赖:

python setup.py develop

搞定后,下载算法需要的权重文件,项目的权重文件需要梯子才能下载,否则很慢。

为了方便大家,我将论文权重文件,上传到了百度网盘,需要的自取(提取码:jack):

https://pan.baidu.com/s/1E0hcRotocz85I2Oua0wiew

将权重文件解压到 assets 目录即可。

都配置好后,直接运行命令:

python demo/motion_imitate.py --gpu_ids 0 \
   --image_size 512 \
   --num_source 2   \
   --output_dir "./results" \
   --assets_dir "./assets"  \
   --model_id   "donald_trump_2" \
   --src_path   "path?=./assets/samples/sources/donald_trump_2/00000.PNG,name?=donald_trump_2" \
   --ref_path   "path?=./assets/samples/references/akun_2.mp4,name?=akun_2,pose_fc?=300"

命令参数的详细说明,在 motion_imitate.py 文件里写的很详细,这里就不再累述。

运行命令,大功告成。

四、絮叨

我知道,看了这篇文章,你一定又有了很多大胆的想法。

这个算法会占领新一轮的鬼畜区吗?拭目以待。

我是 Jack ,我们下期见。

文章持续更新,可以微信公众号搜索【JackCui-AI】第一时间阅读,本文 GitHub https://github.com/Jack-Cherish/PythonPark 已经收录,有大厂面试完整考点,欢迎 Star。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 是人工智障还是蹭热度?我一定是抱走了假的二次元老婆

    “初音未来”的痛点 虚拟偶像这个概念已经诞生许久,而要说到其中的代表,我想大家一定都先想到初音未来。借助VOCALOID的语音人工合成引擎和网络的传播速度,初音...

    企鹅号小编
  • 图像 | 视频换脸技术,女神都下海了吗?

    IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 最近,美国闲散人士论坛 Reddit 上有个神奇的 18 禁板块,专门分享女明星 PS 的裸...

    IT派
  • 程序员的退休生活

    9月10日的教师节,阿里巴巴的19周年,也是马云54岁的生日。在这天,马云宣布:2019年9月10日,辞去阿里巴巴集团董事局主席一职。

    养码场
  • 运用第一性原理探寻AI本质

    AI,也就是人工智能,这几年非常火,但究竟AI的本质是什么呢?用第一性原理来探寻AI的本质,可能更容易理解。接下来我们一起探讨AI、第一性原理、以及如何使用第一...

    宜信技术学院
  • 为打造中国的ImageNet+Kaggle,创新工场、搜狗和头条站到一起

    李根 发自 国家会议中心 量子位 报道 | 公众号 QbitAI ? △ 搜狗CEO王小川、创新工场董事长李开复和今日头条顾问张宏江 依旧是为了(紧缺的)AI人...

    量子位
  • “我走先”佳兆业携手腾讯开启世界级海滩度假新时代

    ? 深圳,一座不断上演“春天的故事”奇迹的城市,科技使得这里插上了腾飞的翅膀。一句“我走先”,一句“顶硬上”!诠释了深圳这座科技城的运行内核。作为中国改革开放...

    腾讯文旅
  • AI换脸、虚拟主播、智能影像生产……文娱产业现在已成AI的天下了

    有网友将最近播出的电视剧《都挺好》中让人恨得牙痒痒的苏大强,用AI换脸变成了眉清目秀的吴彦祖,场景竟毫无违和感。

    量子位
  • CCF-GAIR 2018 | 金融科技专场大咖名单公布!想和他们一起同行吗?

    AI科技评论消息,备受瞩目的第三届全球人工智能与机器人峰会(CCF-GAIR)将于6月29日至7月1日在深圳举办。大会由中国计算机学会主办,雷锋网承办,其中,在...

    AI科技评论
  • 特朗普演讲逼疯AI?从头学习了1100万字后,AI能读懂“川言川语”吗

    最近,美国前国家安全顾问约翰‧博尔顿出版了他的新书The Room Where It Happened,在书中,博尔顿写道,特朗普很容易受威权式领导人影响,经常...

    大数据文摘
  • 这10个工作很快将被机器人取代!金融、搬砖、演员都没前途

    新年好! 『量子位』给您拜年!这个假期,当你跟亲友聊人工智能的时候,都聊什么?今天我们特别推送一组《春节聊AI指南》。这是其中一篇,其他几篇也推荐阅读哦~ ?...

    量子位
  • SXSW 2018进行时丨3D打印的寿司你敢吃?智能房屋竟能包揽所有家务!

    VRPinea
  • 神经网络白头鹰当logo:美国成立国家人工智能计划办公室

    川普任上,对人工智能对国家未来经济和安全的战略意义看得非常重,并在2020年2月发布了有史以来首个国家人工智能战略,努力使人工智能研究的投资翻倍。

    新智元
  • 家里有5套房子的人愿意996吗?只有加班的人才懂!

    PS:我工作一直还算努力,原因无非两点:一,认真工作取得好的结果,可以带来无与伦比的成就感。第二,认真工作锻炼能力,能增强自己的气场和魅力。总之,难道你条件很好...

    IT架构圈
  • 「无心插柳柳成荫」的乔姆斯基 | 追溯 AI 大师系列

    艾弗拉姆·诺姆·乔姆斯基博士(Avram Noam Chomsky,1928 年 12 月 7 日—),麻省理工学院语言学的荣誉退休教授,发表的《生成语法》被认...

    AI科技评论
  • 当,程序员突然想画画,AI+机器人就该登场了

    但,理想和现实之间,可能远隔千山。比方,你其实没有创作的灵感。以及,你其实没有把灵感实现出来的基本技能。

    量子位
  • 川普跳「鸡你太美」?

    不如跳舞:只需要一张或多张人物图像,再提供一个跳舞视频,原本静止的人物就能轻松学会跳舞。衣服等细节信息一致性良好,就是脚步有点飘……

    龙哥
  • 独家 | 李飞飞亲口跟我们说:离职Google是假新闻

    今日(6月28日),开始传出李飞飞即将离职谷歌的消息,称她会在今年下半年重返斯坦福任教,并会卸任谷歌云首席科学家一职,仅以顾问挂名。

    量子位
  • “游云南”大数据中心发布《2019云南省“十一”黄金周旅游大数据报告》

    ? 昨日,游云南大数据中心依据2019年10月1日-2019年10月6日的数据,对2019年“十一”黄金周云南省内旅游消费情况分析并发布《2019云南省“十一...

    腾讯文旅
  • 采访马斯克:脑机接口一年内植入人体,孩子名“X Æ A-12​”致敬中国文化

    埃隆·马斯克昨天接受喜剧演员和播客主持人Joe Rogan的采访。我们来听听硅谷钢铁侠都说了什么。

    新智元

扫码关注云+社区

领取腾讯云代金券