好玩！用个Ipad就实时把现实物体变成3D物体了？两个有意思的论文解析

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体

快到年底了，各行各业可谓是加快脚步创造领域“奇迹”，最近一直在网上冲浪的我，竟然发现了最近更新的两个炫酷技术，了解完之后瞬间对科技层面又有了一个新认知！

好东西怎么能私吞！必须摆到台面上跟大家聊一聊~

咳咳…接下来！请大家做好笔记！认真听讲！

HeadGan

什么是HeadGan？就是以3D面部数据和通过音频特征驱动合成让一张静帧图片动起来~

其实近几年一直有人在研究怎么只参考图像就能解决可解决的头部讲话的动态合成问题，虽然也一直有着不错的进展，但是每一次或多或少都存在些问题，比如没办法满足身份保持或者是有的照片的真实性不是很理想，尤其是最后合成的头部非常不自然等。

但这次推出的HeadGan，是一种全新的方法，完全打破常规，克服了以上种种问题，它的特别之处主要在于以3D人脸表现特征为条件进行合成，可以从任何视频中提取所需要的内容来适应参考图像的脸部几何形状，主要通过音频特征作为补充输入，最关键的是此次还改善了最困难的嘴部运动，让整个过程看起来更加自然流畅，包括脸部表情编辑、脸部正面化的真实性也都可以充分应用HeadGan来完成。

方法？什么实践都离不开初期的理论，借鉴3D可变模型（3DMM）中的理论知识做引导，不断深入，这样在实际操作中步骤就可以尽可能的简单化，首先重建并渲染3D人脸，然后根据参考的图像和驱动帧，调整参数，最后用音频特征作为HeadGan的补充输入来改善嘴部运动，这一系列操作下来，不想整好都不行。

技术开发者为了方便大家理解还贴心的发布了一个流程图，大概意思就是生成包括两个子网络，一个密集流网络˚F和一个呈现网络ř，密集流网络F根据3D人脸输入计算，主要确保用于扭曲参考图像和特征的流畅性，然后渲染网络R使用视觉信息以及音频特征，来方便将3D面部输入转换成像本来照片里一样的逼真图像。（读不懂可略过）

这一技术感觉被普及就是时间问题，操作简单易上手，像现在互联网发展迅速，涉及领域广泛，而且HeadGan可以给任何原图像进行3D面部建模，像平常的视频会议等都可以很好的运用。

TransforMr

什么是TransforMR？在解释之前！必须要吹爆它一下！因为这一项技术真的是用最简单的软件和移动设备来做出最有意思、最好玩的事情~

TransforMR是一种可以在移动设备里转换现实系统，从而把视频里的物体替换成虚拟3D物体的技术，在不受控的现实世界环境中创造出不一样的混合现实场景（虚拟＋现实）！简而言之，就是一个基于Unity系统，可以在环境中添加AR对象！使用的人可以用Ipad Pro和Unity来实时转换现实生活中的对象，并且使用人完全可以根据自己的喜好决定想要探索什么样的环境，然后生成什么样的环境和主题。

先放一个视频让大家简单了解一下！

接下来，可以把视频简单拆分为几个内容：

TransforMR会将真实所存在的场景转换为虚拟＋现实，比如现实世界里有一个人在路边散步，那么这时候“这个人”就成为了被替换的对象，变换后的场景就会出现一个虚拟对象，在现实世界里的“人”做出的行经路线和动作，在另一个转换的场景里，虚拟对象也会做出一样的动作和反应。

操作过程其实也没有什么太大的难度，就是用最简单的移动设备拍摄，然后检测帧上的对象，进行分割，确定好想要检测的对象之后进行移除再使用修复和3D，对转换空间中的对象姿势和动作进行渲染即可。

每一个转换的画面都可以设置不同的场景主题，完全可以根据你的想法来调整，比如视频里列举了“万圣节”主题，可以清晰的看到马路上的汽车都转换成了南瓜马车，行程路径也都是完全按照原视频的轨迹运行。

除此之外，按照视频里面人物交互模式构成场景的示例，拍摄人员利用最简单的手机就能轻松捕捉到一个人或者多个人的动作，其实就跟动作捕捉非常相似，不管是场景中的人物大跳还是做出什么幅度比较大的动作，都能够轻松侦测，并实时转换到虚拟对象上。

当然在一个场景中，也可以渲染多个对象。

技术部门为了能够让更多的用户可以简单的使用，还专门针对平板电脑和手机的兼容性进行了测评，为此提出最合理化的解决方案，简直不要太贴心！

通过对这两个技术的基本了解，感觉现在的科技发展更是渗透到生活的每一个细节，用最简单的设备和最短的时间做出最高效率的作品。

今天介绍的这两个炫酷技术有没有让你对科技的发展有什么大胆启发呢？有尝试、有想法的不妨来聊一聊啦

E N D

为《长津湖》做概念设计是怎样的体验？概念设计师孙立东专访

不能说像，只能说一毛一样！画不过瘾，他用3D卡通化超多影视名角，灵魂还原！

《鱿鱼游戏》幕后拍摄现场——OnSet