周志华等NeuralPS2019接收论文；网易用GAN建立游戏角色

机器之心整理

参与：一鸣

本周 NeuralPS 2019 论文评审结果公布，其中包括周志华等的一篇「AI 蒙汗药」论文。同时还有一些有趣的研究，如网易伏羲实验室的 GAN 建立游戏角色、上海交大的无监督词嵌入命名实体识别等论文，同时还有关于深度学习数学计算和 GAN 的应用综述论文。

目录：

Deep Learning: Computational Aspects

Systematic Analysis of Image Generation using GANs

Evaluating the Search Phase of Neural Architecture Search

Named Entity Recognition Only from Word Embeddings

Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder

Face-to-Parameter Translation for Game Character Auto-Creation

Rethinking the Number of Channels for the Convolutional Neural Network

论文 1：Deep Learning: Computational Aspects

作者：Nicholas Polson、Vadim Sokolov

论文地址：https://arxiv.org/pdf/1808.08618v2.pdf

摘要：在本文中，研究者回顾了深度学习（DL）计算方面的知识。借助于包含潜在变量层级的网络架构，深度学习构建用于高维输入-输出模型的预测器（predictor）。训练深度学习架构的计算开销大，并且高效的线性代数库是训练和推理的关键。随机梯度下降（stochastic gradient descent，SGD）优化和分批采样从海量数据集中学习。

推荐：本文是回顾深度学习数学方面的论文，适合希望了解理论基础的读者阅读。

论文 2：Systematic Analysis of Image Generation using GANs

作者：Rohan Akut、Sumukh Marathe、Rucha Apte、Ishan Joshi、Dr. Siddhivinayak Kulkarni

论文地址：https://arxiv.org/ftp/arxiv/papers/1908/1908.11863.pdf

摘要：在当今时代，生成对抗网络（GAN）在促进无监督学习取得进展的过程中发挥了至关重要的作用。从文本或其他图像的图像合成示例来看，这些对抗网络的性能较传统方法有了极大的提升。此外，这些网络根据对抗训练理念进行训练，旨在估计真实数据的潜在分布，并将潜在分布作为输入以生成合成数据。基于这种基本原理，一些框架得以生成，并在艺术合成、高分辨率输出生成以及手工绘制图像合成等现实应用中获得完美实现。尽管在理论上生成对抗网络的结果更好并在诸多方面较传统方法好得多，但在特定应用中实现这些框架依然面临挑战。因此，在本文中，研究者探讨并提出了这些框架的分类法以及它们在各种图像到图像和文本到图像合成应用中的使用。研究者还对基本的生成对抗网络以及各种不同的利基框架进行了批判性分析。此外，他们还介绍了生成对抗网络相对于其他传统方法的优劣势，并讨论了生成对抗网络未来在医疗保健、艺术和娱乐等行业中的应用。

GAN 的总体分类。

StackGAN的总体架构。

AttnGAN 的架构

表 1：文本-图像转换任务中使用的 GAN 的方法总结。

推荐：GAN 是近年来图像处理领域最值得关注的算法之一。本文是目前相当全面的一篇 GAN 的综述，为读者提供了 GAN 在不同场景下的方法全景图。

论文 3：Evaluating the Search Phase of Neural Architecture Search

作者：Christian Sciuto、Kaicheng Yu、Martin Jaggi、Claudiu Musat、Mathieu Salzmann

论文链接：https://arxiv.org/abs/1902.08142

作者提出的神经架构评价机制和其他机制的对比。

摘要：神经架构搜索（NAS）旨在促进用于处理新任务的深度网络设计。现有技术依赖以下两个阶段：架构空间的搜索和最佳架构的验证。目前，NAS 算法的评估仅比较它们在下游任务中的结果。虽然很直观，但这种比较无法明确评估搜索策略的有效性。因此，在本文中，研究者提出了一种涵盖搜索阶段的 NAS 评估框架。为此，他们对 NAS 搜索策略获得的解决方案效果与随机架构选择的效果进行了比较。

比较结果显示：（i）平均而言，随机策略的效果优于当前 SOTA 神经架构搜索算法；（ii）NAS 算法的结果和候选排名（candidate ranking）无法反映候选架构的真实性能；（iii）广泛使用的权重共享策略对良好架构的训练产生负面影响，因而降低搜索过程的有效性。研究者认为他们提出的评估框架将成为设计 NAS 策略（这些策略能够真正发现高质量架构）的关键。

推荐：本文提出了一种新颖的观点——SOTA 的 NAS 甚至不如随机策略，进而文章作者提出了一种新的 NAS 评价方法。读者朋友可以借鉴文章中的观点，重新思考 NAS 现在的研究。

论文 4：Named Entity Recognition Only from Word Embeddings

作者：Ying Luo、Hai Zhao、Junlang Zhan

论文链接：https://arxiv.org/pdf/1909.00164.pdf

摘要：深度神经网络在没有手工构建特征的情况下有助于命名实体（NE）识别实现出色的性能。但是，现有网络需要大量的人工标注训练数据。虽然研究人员付出努力以外部知识（如 NE 词典、词性标注等）替代人工标注，但获取这种有效资源成为另一项挑战。在本文中，研究者提出一种完全无监督的 NE 识别模型，这种模式只需要从预训练词嵌入中提取有益线索即可。

他们首先在词嵌入上应用高斯隐马尔可夫模型（Gaussian Hidden Markov Model）和深度自编码高斯混合模型（Deep Autoencoding Gaussian Mixture Model），用于实体跨度检测和类型预测；接着进一步设计了一个基于强化学习的实例选择器，以区分积极句子和嘈杂句子，并通过神经网络改善这些粗粒度标注。在 CoNLL 基准数据集上的大量实验结果表明，研究者提出的轻量级 NE 识别模型在不使用任何标注词典或语料库的情况下实现了出色的性能。

无监督命名实体识别模型的基本架构。左图的模型用于实体文本的检测，右图的模型则用于实体类型的预测。

强化学习模型的框架图示。

推荐：万能的词嵌入又有新应用。本文是上海交大的一篇论文，用词嵌入进行无监督的命名实体识别任务，为文本数据上进行无监督学习提供了新的思路。

论文 5：Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder

作者：Ji Feng、Qi-Zhi Cai、 Zhi-Hua Zhou

论文链接：https://arxiv.org/pdf/1905.09027.pdf

摘要：本文提出了高效生成对抗训练数据的最先进方法之一——DeepConfuse，通过劫持神经网络的训练过程，教会噪声生成器为训练样本添加一个有界的扰动，使得该训练样本训练得到的机器学习模型在面对测试样本时，泛化能力尽可能地差，非常巧妙地实现了「数据下毒」。

「数据下毒」即让训练数据「中毒」，具体的攻击策略是通过干扰模型的训练过程，对其完整性造成影响，进而让模型的后续预测过程出现偏差。（「数据下毒」与常见的「对抗样本攻击」是不同的攻击手段，存在于不同的威胁场景：前者通过修改训练数据让模型「中毒」，后者通过修改待测试的样本让模型「受骗」。）

推荐：这篇又名为「AI 蒙汗药」的论文作者是周志华等，采用了从数据层面对模型进行攻击的方法。论文已被 NeuralPS 2019 接收。

论文 6：Face-to-Parameter Translation for Game Character Auto-Creation

作者：Tianyang Shi、Yi Yuan、Changjie Fan、Zhengxia Zou、Zhenwei Shi、Yong Liu

论文链接：https://arxiv.org/pdf/1909.01064

摘要：角色定制系统是角色扮演类游戏（RPG）的重要组成部分，玩家可以根据自身喜好对他们游戏中角色的面部外观进行编辑，而不使用默认模板。本文提出的方法能够根据输入的人脸照片自动创建玩家的游戏角色。基于面部相似性度量和参数搜索范式，并通过解决大量具有物理意义的人脸参数的优化问题，研究者制定了上述「艺术创造」过程。

方法概览。该方法可基于输入人脸图像自动生成游戏角色，它基于人脸相似性度量和参数搜索机制（对大量具备物理意义的面部参数执行搜索）实现。之后用户可以根据需要自行微调生成游戏角色的面部参数。

该方法的处理流程。模型包括模拟器 G(x) 和特征提取器 F (y)。前者模拟游戏引擎的行为，以用户定制的面部参数 x 为输入，生成「渲染后」的人脸图像 y。后者则决定了人脸相似性度量可以执行的特征空间，以搜索最优的面部参数集。

推荐：本文是网易伏羲实验室的一篇论文，是 GAN 在游戏领域一个非常有创意的应用。利用人脸图像生成游戏中的角色人脸参数。据论文介绍，这个方法已在网易的游戏中使用了百万次。

论文 7：Rethinking the Number of Channels for the Convolutional Neural Network

作者：Hui Zhu, Zhulin An, Chuanguang Yang, Xiaolong Hu, Kaiqiang Xu, Yongjun Xu

论文链接：https://arxiv.org/pdf/1909.01861v1

摘要：最近的一些神经架构搜索（NAS）相关的论文——尽管取得了一定的成果，但缺少一种能够设计卷积神经网络中通道数的 NAS 方法。本文提出了一种针对卷积神经网路通道数的高效自动架构搜索方法。在 CIFAR-10 和 CIFAR-100 数据集分类任务上，可以使用很小的计算资源（0.4~1.3 GPU-days）来发现新的架构，并分别取得了 0.5% 和大约 2.3% 的精确度提升，而且模型参数更少。作者认为，这一方法适用于各种卷积神经网络，用于快速发现合适的通道数。

推荐：NAS 的研究正在渗透到深度学习的各个领域，甚至可以设计神经网络的通道数。本文作者来自中科大和中科院，适合读者了解 NAS 的前沿应用。