动手画个二次元老婆，上科大团队这个APP刚上线就火出圈，网友：我学废了

机器之心报道

编辑：蛋酱、小舟

AI 虽然能帮你完成大多数工作，但作画也是需要一定技巧的。或者说它可以让你的所有想法暴露在光天化日之下。

想给自己画个二次元老婆，但发现自己是个手残，怎么办？

问题不大，这里有个神器，你只需要涂抹出轮廓，剩下的交给 AI：

二次元老婆生成器的名字叫做「WAND」，现在已经在苹果应用商店上线了，目前提供 iPhone 和 iPad 两类设备的限时免费下载，登上了AppStore图形与设计榜下载量Top1。

「WAND」刚发布就火出了圈，在社交网络上看，很多人已经率先试用了，作品是这样的：

画出了各种漂亮的小姐姐：

嗯，三次元也可以的，还可以这样操作：

虽然但是，一部分手残党的失败案例，也会让自己 SAN 值狂掉：

编辑部实测

基于「不试试怎么知道」的想法，编辑部也下载了一个 WAND，并翻出了手机相册里珍藏多年的二次元老婆照片。

WAND 提供的功能很丰富，你可以直接上传一张二次元头像，然后生成其他风格版本的「老婆」。这里我们上传的是无人不爱的辉夜大小姐：

可见 AI 还贴心地帮你解决了发际线的问题。

还可以在画板上对人像进行调整，改造一番。此处手残党要高度警惕，不要搞出一些惊悚创作，破坏「老婆」的形象。

如果是线稿，导入后也会自动上色，切换风格还能得到多个版本：

即使你对现在的二次元老婆们都不满意（过分），也可以从零开始，亲手捏一个出来，只不过，二次元老婆的上限将完全取决于你的艺术造诣。

多少憨憨心碎于此：

而且，这个 App 还埋了一个功能：「真人模式」。一旦选择「Realistic」，再来张自拍，你或许会陷入深深的思（jue）考（xing）之中……

最终，用户们悟到了这个 App 的真谛：

其实，使用的时候也有一些小技巧。比如作者表示，在上传照片时，尽量只让人脸在整个框内，识别和生成的效果会更好。

吸收各方反馈，WAND 后续可以做一些改进：

还有很多人问，Android 版什么时候有呀？

机器之心帮忙向开发团队询问了一下，作者表示：「已经新建文件夹了。」相信用不了太久，Android 用户就可以在自己的手机上亲手画二次元老婆了，同时「老公版」的WAND 也正在制作中。

据了解，「WAND」背后的开发团队影眸科技孵化于上海科技大学，团队聚焦于前沿人工智能、计算机视觉技术在影视制作、大众娱乐市场的推广应用，近期也有相关研究入选 ICCV 2021 等顶会。

SofGAN

看完了 APP 效果，我们来看下背后的技术。据项目介绍，该软件基于上海科技大学 ACM Transactions on Graphics 2021 的一篇研究论文实现。

• 论文地址：https://arxiv.org/pdf/2007.03780.pdf
• 项目主页：https://apchenstu.github.io/sofgan/

尽管生成对抗网络（GAN）已被广泛用于人像图像生成，但在 GAN 学习的潜在空间中，不同的属性，如姿态、形状和纹理风格，通常是纠缠在一起的，这使得对特定属性的显式控制变得困难。为了解决这个问题，该研究提出了一个名为 SofGAN 的图像生成器，将人像的潜在空间解耦为两个子空间：几何空间和纹理空间。从两个子空间采样的潜在代码分别馈送到两个网络分支，一个生成具有规范姿态的人像的 3D 几何图形，另一个生成纹理。对齐的 3D 几何图形还带有语义部分分割，编码为语义占用字段（semantic occupancy field，SOF）。SOF 能够在任意视图渲染一致的 2D 语义分割图，然后将其与生成的纹理图融合并使用语义 instance-wise（SIW）模块将其风格化为人像图像。该研究通过大量实验表明该系统可以生成具有独立可控几何和纹理属性的高质量人像图像。此外，该方法还可以很好地推广到各种应用中，例如外观一致的面部动画生成等。

在 StyleGAN 中，基于不同级别的输入潜在向量，图像的风格在每个卷积层上通过特征来控制。这种控制机制虽然有效，但并没有提供对单个属性的独立控制，很大程度上是由于各种属性的纠缠。为了解决这个问题，该研究将生成空间分解为两个子空间：几何空间和纹理空间，如下图 3 左所示。

该研究提出的生成 pipeline 概览。

几何空间中的每个样本都可以被解码为 SOF 网络的权重，该网络表征了带有伴随语义标签的 3D 连续占用字段 (SOF)。在渲染阶段，给定任意查询视点，该方法将使用光线移动框架将 SOF 映射为 2D 分割图。SOF 的使用确保了视图的一致性。接下来该研究遵循语义图像合成框架提出了一个基于语义的 instance-wise 的生成模块，来生成逼真的图像。

几何建模

相比于先前已有的方法，该研究提出了一个更稳定的光线移动器，用于根据当前位置特征和光线方向预测步长，如下图 4 所示。

图 5 展示了一个 SOF 样例，其中包含针对体（volume）内每个点的预测语义标签（只显示最高概率的标签）。

图 5：SOF 是一个 3 维的体，每个空间点都有一个𝑘−class 语义概率。

纹理合成

该研究使用 SIW 卷积层将基于区域的特征图放大为高分辨率图像，如下图 6 所示。

图 6：该研究的 SIW 生成模块。

更多技术细节详见论文原文。

NVIDIA对话式AI开发工具NeMo的应用

开源工具包 NeMo 是一个集成自动语音识别（ASR）、自然语言处理（NLP）和语音合成（TTS）的对话式 AI 工具包，便于开发者开箱即用，仅用几行代码便可以方便快速的完成对话式 AI 场景中的相关任务。

8月12日开始，英伟达专家将带来三期直播分享，通过理论解读和实战演示，展示如何使用 NeMo 快速完成文本分类任务、快速构建智能问答系统、构建智能对话机器人。

直播链接：https://jmq.h5.xeknow.com/s/how4w（点击阅读原文直达）

报名方式：进入直播间——移动端点击底部「观看直播」、PC端点击「立即学习」——填写报名表单后即可进入直播间观看。

交流答疑群：直播间详情页扫码即可加入。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com