全球变脸应用新突破：实时秒变娃娃脸、全机型覆盖，断网也能用

雷刚 发自 凹非寺 量子位 报道 | 公众号 QbitAI

秒变娃娃脸，技术应用又有新突破。

而且相比P图后“变脸”，这次是拍摄短视频时终端实时进行“变脸”，上至万把元的iPhone下至千元安卓机，都能体验，甚至没有网络也OK。

你可能没想到，这次引领全球技术之先的是中国公司快手。

没错，就是老铁双击666的快手。

秒变童

在其最新迭代的版本中，拍摄页面上线了名为“变小孩”的魔法表情。

拍摄界面选择该表情进行短视频拍摄，就能秒变童颜，实现娃娃脸的样子——一千个老铁，有一千个娃娃脸老铁的样子。

比如这样：

这样：

以及这样：

上手简单，看起来也好玩，但稍懂技术原理，就知道实现这样的应用和效果，实际非常不简单。

核心是依靠GAN——对抗生成网络。

这次不仅国内首个实现端上实时GAN，也是全球范围内第一次实现iOS安卓多平台、全机型覆盖的视频实时GAN，甚至出于技（lao）术（ban）实（yao）力（qiu），快手AI工程师们还实现了“断网”壮举——没有网络状态也能用。

这是完全终端本地化的实现AI能力，是包含Google在内的AI头雁公司才有的追求。

并且相比翻译、语音识别，视觉和实时视频，对于终端算力、内存资源、模型训练和压缩要求都更为严苛，除了要投入资源攻坚，还得顶着用户体验的压力，最后在各种各样的终端用户场景中接受检验。

挑战其实不小。

但可以直接带来的效益，值得直面这份挑战。魔表上线3天即到百万使用量。

实时变脸的潮与难

或许你也多少留意到了，“变脸”、“换脸”在全世界掀起了一股新风尚。

除了没有证据但可能在开车的各类deepfakes，从图片到视频，从变老、男变女、女变男，返老孩童，全球网友玩得不亦乐乎。

简单回顾起来，最初在视频中推出实时“娃娃脸”的是Snapchat。

在今年5月，这个海外社交应用推出了该新功能，研发打造时长一年之久。

但效果也立竿见影，一经发布，日活大涨10%。

其后还间接带火了俄罗斯变脸应用FaceApp，很多明星和普通人，开始借助应用看到自己老去、还童的效果。

但放眼全球，能够跟上这种技术风潮的也不算多。

而且从Snapchat和FaceApp，也能看出技术实现之挑战。

一方面，实时视频几乎不能覆盖全机型全平台——Snapchat就只能在iOS支持。

另一方面必须依靠云端训练和效果实施，对网络状况要求也很高。这带来的小插曲是美国议员呼吁封杀FaceApp，因为上传照片到云端，会让俄罗斯侵害美国人隐私。

而快手选择做端上实时“变脸”，目标是能给所有用户带去更潮的短视频玩法。但除了技术上的难要解决，留给快手Y-tech技术小分队的时间只有一个多月的时间。

没错，一个多月，打完Snapchat一年的仗。

“娃娃脸”背后技术

其实早在18年4月份，快手已经在端侧实现了“变老”的功能效果。

但从技术而言，“变老”和“娃娃脸”的难度，不可相提并论。

通俗点说，“变老”不需要改变人脸结构，可以通过贴妆方式实现，娃娃脸的人脸结构有很大变化，在五官细节上也和成人有很微妙的差别，而且千人千面，难以用传统贴妆方法实现。

另外，“娃娃脸”效果，P图和实时视频的挑战也不一样。

视频所追求的，是在没有人为干预的条件下，快速生成效果逼真的娃娃脸。

进而也就有两大挑战必须解决：

• 一是需要机器根据每个人的脸部特征自动生成图像，而且不能有手工P图的痕迹。
• 二是要在手机端实时做到脸部图像生成。手机端的算力以及内存资源有限，在有限算力以及内存资源支持条件下完成这些任务，任务艰巨。

这些挑战，也是Snapchat在iOS实现而无法全平台全机型覆盖的原因——iPhone的算力和资源，算是最上层的。

但中国实际情况，以及快手的用户而言，安卓用户占比不低，而且安卓机型种类较多，不同机型算力和内存资源差异较大，因此完成实时视频变“娃娃脸”，在快手这里产品需求有了更明确定义：

设计一个能够覆盖高、中、低不同机型的解决方案。

于是，快手技术团队采取了差异化的AI模型生成方案，针对不同机型，采用相应解决方案。

对于算力较高的机型，可以让AI模型做更多的工作，比如生成的图像范围更广，细节更清晰。

对于算力较低的机型，可以把一部分AI模型的工作拆出来用传统的方法去解决。

然而总体还有一点，不管算力高低，最后到用户使用中，都得实现GAN的“秒变”，这也就意味着算力再低，也要有高质量的AI算法实现——挑战和能力都暗含其中了。

最后，对于快手来说还有一项潜在挑战：网络。

一方面是用户体验上的考量，实时效果对延迟要求很高，服务端计算增加的网络延迟对于实时应用来说非常显著——用户需要等待，体验的效果滞后。

另一方面，如果用户还位于偏远山区，手机信号和网络不好，体验就会变得非常糟糕。

所以从一开始，快手技术团队对这款特效的目标就定成了达到“手机断网”也能用。

因此所有算法操作，都在手机端完成，不需要把用户拍摄的图像或视频传到后端服务器做算法处理。

用一个小小手机，完成了算力强大的服务器才能做到的事，这是快手技术团队在“娃娃脸”功能上秀出的实力。

而且这只是实力的冰山一角，后台深藏的是驱动快手产品向前的基础引擎。

技术积累之力

正所谓水滴石穿非一日之功。

快手此次能够引领全球技术应用之先，快手自研的YCNN深度学习推理引擎、定制化模型压缩算法都是幕后功臣。

正是基于内部自研的压缩模型，才能在考量各种边界条件、有限的计算以及内存资源条件下，依然把模型的计算量降到最小，同时又不影响算法效果。

而快手端上深度学习推理引擎，为娃娃脸算法落地提供了有力支持。

这个取名YCNN的深度学习推理引擎，之前介绍快手AI时也多次提到。

这是快手自研的、支持多平台的、深度优化的神经网络推理引擎，是快手很多AI功能的强大加速器，支持包括不限于NEON、SSE、Metal、NPU，OpenCL，OpenGLES的优化方法和技术。

在这次“娃娃脸”功能里，针对移动平台尤其是低端安卓机计算能力较弱的特点，YCNN引擎在定点化推理方面的优化，提出了低功耗高性能的解决方案。

实际上，近几年来，在深度学习研究领域，GAN等模型被广泛的应用到解决各种问题上，但像快手这样坚持打造核心基础引擎，并最终让产品功能受益，让终端用户受益的，并不多。

而且也由于产品落地和应用的成功，技术上的难度和积累少为人知。

实际上，让拥有不同手机机型的每一个老铁，能够无差别享受高算力AI技术带来的乐趣，背后是极其强大的技术团队的付出。

但这样的团队，也有委屈的时候。在最近快手首次召开的技术OpenDay上，有校招学生透露“因为家里人、朋友觉得快手Low而表达过不想让他们选择来快手工作”。

如果能够全面了解一下快手，了解下快手的普惠价值观，以及通过这家公司的努力给普通人的生活带来的改变，相信他们的想法会改变。只有全面的了解之后，才能做出客观的判断。

那如果更深入了解端上GAN的进展突破呢？知晓“本地化无网络”也能应用AI模型呢？或者更进一步知道压缩模型和推理引擎的强悍……

可能是时候给予快手以及快手的技术更多正名了。

并且在技术可能加剧资源、地区和发展不平等的今天，快手能通过终端产品让每一个用户无差别感受技术的乐趣、感知不一样的世界，还帮助更多偏远地区加速商业化提升收入，善莫大焉。

把技术推向更前沿值得感叹，用前沿技术打造接地气的、普惠的产品，值得赞美。

你说呢？

Last but not least，做出这款特效的技术团队是快手的Y-tech团队，这里也特别传送门一下：

快手Y-tech，是快手在人工智能等前沿领域的探索者和先行者，以研发前沿科技、提升用户体验、创造用户价值为使命，致力于在计算机视觉、机器学习 、深度学习和计算机图形学等领域开展技术研究和业务落地。

研究的技术方向还包括图像处理、人脸识别、多媒体技术、SLAM/AR/VR/MR、三维重建、优化算法，推荐，ranking，game AI, 机器学习平台，数据库，数据分析，强化学习等。

最后，附马上能体验的H5传送门（也可直接点击阅读全文），欢迎分享你的“宝宝照”到盆友圈。谁还不是个宝宝呢？

https://activity1.m.viviv.com/babyface/

作者系网易新闻·网易号“各有态度”签约作者

— 完 —