大谷老师又双叒叕有新作品啦！这一次，他让兵马俑活了过来
大谷老师又双叒叕有新作品啦！这一次，他让兵马俑活了过来
作者 | 青 暮
还记得电影《木乃伊3》中整个世界差点被兵马俑支配的恐惧吗？
电影中的兵马俑形象骇人，不能直视。
但是，用AI复原的兵马俑形象大不一样，他已不再是可怕的战争武器，而是有血有肉的大叔。
而这位大叔的本体是以下这个坐姿兵马俑。
如今，用GAN来生成内容和转换内容风格已经不是新鲜事物，无论是生成人脸还是艺术肖像画，AI都游刃有余。
GAN生成现实生活中不存在的人脸
GAN生成各种各样的人脸肖像画
而最近，通过一张图片生成人物动作的AI应用引起了人们的兴趣。该应用也一样，无论是输入真实人脸，还是艺术肖像画，都能生成生动的人物动作。
GAN生成玛丽莲梦露的动图
GAN生成蒙娜丽莎的动图
而要生成这样的动图，只需要一张图片，和一个参考视频，GAN会按照参考视频的动作给图片加上动态。如下图所示，所有权游角色都可以按照特朗普的动作说话和摆动脸部。
那有没有新的玩法呢？当然有，只需要在艺术肖像画和真实人脸之间建立起一座桥梁，我们就能做到，让古画中的人物复活，并摇头晃脑地说人话。
最近，复原了百年前老北京街景的大谷老师又有新作品啦！在这部作品中，大谷老师让古老艺术作品中的经典人物活了起来，不仅有兵马俑，还有朱元璋、林黛玉、徐悲鸿、大禹......我们一起来欣赏欣赏。
明朝开国皇帝明太祖朱元璋的全身像由不知名画师于大约1370年所画。
经过AI的还原，朱元璋变成了大耳垂、浓眉细眼的威严模样，滔滔不绝地表达着他宏伟的治国方略。
不过朱元璋的“真相”在历史上是有争议的，上面这幅画是朱元璋的所谓“正像”。有网友就提到，他们更想看看朱元璋的“异像”还原后的样子：
朱元璋打死谁都不愿意承认的鞋拔子脸形象（异像）
曹雪芹的经典名著《红楼梦》中林黛玉的水墨画由画家白伯骅于1988年所画。
复活后的林黛玉娇颜如玉，说话羞答答的模样完全符合她的人设。
网友调侃道：这不就是按照演员陈晓旭画的吗，还用复原？
1987年央视版《红楼梦》陈晓旭剧照1
1987年央视版《红楼梦》陈晓旭剧照2
以下这幅画是画家徐悲鸿的自画像，我们来看看画坛“金陵三杰”之一的风采。
AI还原的徐悲鸿意气风发，又带着青涩。
“人们把家重新搬了回来。大家在被水淹过的土地上耕种，农业生产渐渐恢复了，百姓过上了安居乐业的生活。”这些文字同学们还记得吗？大禹治水的这幅国画（1972年）现在收录在人教版小学语文二年级上册课本中。
AI复活的大禹致力于教导人民疏堵结合的治水方法，乃至三过家门而不入。
以上这些作品是通过参考这些视频的动作而还原的：
大谷老师还复原了以下画作中的人物，感兴趣的同学们可以直接看视频。
大谷老师对AI科技评论说，这次修复古画的视频是从7月开始断断续续制作的，前后总共花了大概两个月的时间。
1 修复技术
本次视频对图像的修复应用了4个AI模型，即基于StyleGan2的Artbreeder、First-order-model、DAIN、Topaz Labs，都是训练好的模型。
在整个修复过程中，每张图都要按照顺序用这4个AI模型进行处理。其中，Artbreeder把角色从绘画转成写实风格，First-order-model生成人物动态，DAIN进行补帧（60fps），最后用Topaz Labs提升分辨率，使用的显卡是Nvidia 2080Ti。
由于这次修复中使用的是彩色图像，所以不用再进行颜色还原。不过有些人脸的颜色不自然，会影响Artbreeder识别人脸。实际上一些坐姿秦俑挖掘出时脸上原色是绿色的，俗称“绿脸俑”，应该是陶俑工匠制作时就有意把他们的脸刷成了绿色，有一种说法是为了威吓敌人，这种颜色的人脸对于Artbreeder不好识别，所以大谷老师还将其手绘成了肉色脸。
此外，对于人脸上的装饰品，Artbreeder的转换效果也不太好。比如下图中大禹的帽子在转换后效果很奇怪，所以大谷老师将背景涂黑，只保留了脸部。
此外，每张图像基于参考片段的推断都要进行十几遍的测试，输出的结果有一定成功率，有时候也会输出一些奇怪的结果。
最后筛选出可以使用的片段，才能进行后期制作。
提及制作AI视频前的学习过程，大谷老师说道，主要是观看YouTube上Denis Shiryaev的教程，结合自己以前游戏开发的编程经验来实践，之后应用具体的开源项目时，就直接照着项目页面的安装指南操作即可。
Denis Shiryaev视频教程：https://m.youtube.com/watch?v=gSTBJPUOXYg
大谷老师透露，未来会准备以视频和图文的形式出一个手把手的教程。
以下附上相关项目的地址，感兴趣的同学们可以参照Denis Shiryaev的视频教程制作自己的作品。
https://artbreeder.com/browse
https://github.com/AliaksandrSiarohin/first-order-model
https://github.com/baowenbo/DAIN
https://topazlabs.com/
2 多才多艺的大谷老师
这段视频的制作者大谷是一名独立艺术家和游戏开发者，目前居住在纽约。
AI科技评论曾经报道过大谷老师复原100年前的老北京的视频：
大谷老师多才多艺，除了制作有趣的AI视频，他还会制作游戏、弹钢琴、绘画和做科普视频。目前他正在开发一款名为《漫展模拟器》游戏，这是一个漫展模拟经营游戏，玩家扮演经营漫展的主办方来举办属于自己的展会，玩家可以自定义coser和摊位角色。
这个视频展示了大谷老师的钢琴技能，其实这次修复古画视频的配乐就是由大谷老师亲自作曲的。
这张图是大谷老师的作品，绘画工具是PS和数位板。
大谷老师透露，自己的女友也在制作AI视频的过程中给予了很多帮助，比如那部《我用人工智能修复了百年前济南的影像!!》视频中的扬琴部分就是他女友演奏的。
大谷老师还曾提到，修复AI视频时要用到的显卡2080Ti是蹭他女友的。
在《AI复原百年前上海小姐姐们的时装秀!》这部视频里，英文听译（特别是服装术语）都是他女友完成的。
特别是，他女友还在《训练个自己的AI来学手写体》视频中亮相了，在这期视频中，她用自己的手写字结合zi2zi项目训练出了一个会写手写字体的AI。
明天就是七夕节了，提前给大家撒把狗粮~
大谷老师和他女友都是技能满满的艺术家，都受过正规的教育，大谷老师毕业于纽约视觉艺术学院的计算机艺术专业，他女友毕业于美国东北大学数字媒体专业。
对于制作AI视频的初衷，大谷老师说，其实只是想给游戏开发节省时间。原本他也有8年的制作科普视频的经验，所以制作AI视频只是换了个题材。
央视新闻曾经报道了大谷老师制作的第二部AI复原老北京的视频，关于大谷老师和央视的结缘，大谷老师告诉我们，原因是他参加了央视和B站举办的云讲国宝节目，他的作品入围了复赛，在复赛中，大谷老师制作了《AI复原百年前上海小姐姐们的时装秀!》这部视频。这两段视频都被央视新闻选作云讲国宝活动的彩蛋。决赛的入围名单还没出来，预祝大谷老师能入围，并期待他的下一部作品。
AI科技评论最后问了大谷老师一个问题：“您的作品火了之后什么感受，生活和心态上都有什么变化吗？”
大谷老师回答：“十分感谢大家的厚爱！我会更加郑重对待自己的作品，不断学习新技术，磨砺自己做到更好！”
大谷老师已经制作了很多AI修复视频，这里奉上老师的作品集，感兴趣的同学们赶紧收藏！
大谷老师作品集：http://dgspitzer.my-style.in/gameportfolio/
腾讯云开发者
