学界 | 新型半参数变分自动编码器DeepCoder：可分层级编码人脸动作

选自arXiv

机器之心编译

参与：Panda

DeepCoder 是一个好名字，在今年的 ICLR 会议上，剑桥大学和微软就曾提出过一种 DeepCoder，可以组合其它程序代码来生成新程序，参阅机器之心的文章《学界 | 剑桥与微软提交 ICLR 2017 论文提出 DeepCoder：组合其它程序代码生成新程序》。前段时间，又有其他研究者提出了另一种 DeepCoder——一种用于自动面部动作编码的半参数变分自动编码器。机器之心对本文进行了摘要介绍。

论文：DeepCoder：用于自动面部动作编码的半参数变分自动编码器（DeepCoder: Semi-parametric Variational Autoencoders for Automatic Facial Action Coding）

论文地址：https://arxiv.org/pdf/1704.02206.pdf

人脸的表征能表现出一种固有的层次结构（即可以通过一套面部动作单元（AU）和它们的强度来对整体面部表情进行编码）。变分（深度）自动编码器（VAE）已经在大规模图像数据的层次化隐含表征的无监督提取上得到了优良的结果，同时还能在存在噪声和其它我们不想要的伪影时保持稳健。潜在地，这会使 VAE 成为一种学习 AU 强度估计的面部特征的合适方法。然而，大多数现有的基于 VAE 的方法都应用了与编码的特征分开学习到的分类器。相反，高斯过程（GP）等非参数（概率）方法通常比相对的参数方法表现更好，但却无法轻松处理大量数据。为此，我们提出了一种全新的 VAE 半参数建模框架 DeepCoder，它将参数（卷积）和非参数（ordinal GP）VAE 的建模能力结合到了一起，用以联合学习 (1) 任务层次中多个层级的隐含表征，(2) 多个有序输出的分类。我们在 AU 强度估计的基准数据集上的实验表明，我们提出的 DeepCoder 的表现优于当前最佳的方法以及相关的 VAE 和深度学习模型。

图 1：我们提出的 2 层 DeepCoder：输入是面部图像，输出是重建的面部图像和 AU 强度水平。顶部的变分卷积自动编码器（VAE）的表现比面部特征的第一级编码（Z0）更好，而这些特征的进一步编码（Z1）使用 ordinal GP 变分自动编码（VO-GPAE）针对 AU 强度估计进行了优化

算法 1：DeepCoder 的学习和推理

图 3：FERA2015：(a) MSE 重建误差，(b) VO-GPAE 的 NLPD，(c) 每个数据点估计的变分下限，(d) AU 强度估计的 ICC，和恢复的隐空间：Z0 (e) 和 Z1 (f)

本文为机器之心专栏，转载请联系本公众号获得授权。