一起测智商——解耦真的对下游任务有帮助吗

先来一道经典的智商测试题，根据左边八个小方块的规律从右边的六个小方块中选出一个填补空缺。

是不是又回想起了被寒假作业支配的恐惧，没错这就是我们要让机器完成的任务，回答人类智商测试中的经典问题。也即让机器去学习抽象推理能力，具体实现的网络架构长这样[1]

但本篇文章介绍的重点不在于推理部分，而在于抽象表示部分。前段时间google出产了一篇非常火的论文，Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations　其中提出在没有额外先验知识的前提下，解耦的表示学习（主要指Disentangled VAE）对下游任务帮助不大。现在ｇｏｏｌｅ又出了一篇论文，论证了解耦表示对于推理等复杂的下游任务其实有巨大帮助，而这其实是符合我们的一般性假设的，因此接下来让我们了解一下这篇新论文的工作[2]

其实这篇论文的思路并不是前无古人后无来者，但是作者进行了精细的实验与数据分析，使用了β-VAE , FactorVAE , β-TCVAE , DIP-VAE四种最先进的基于ＶＡＥ的解耦学习模型，同时使用不同的超参数，训练的共３６０个表示模型，利用这些表示模型，又进一步训练了３６００个推理模型，也就是有３６００个“小明”在做智商测试题，看看谁做的好。ｐ.ｓ.(Reproducing these experiments requires approximately 2.73 GPU years (NVIDIA P100)......所以感谢这些研究者吧，经费在燃烧)

那么该如何确定解耦是否有帮助呢，我们可以看看解耦表现和解答表现之间的关系啊，如果是解耦的越好解答的越好，那么我们就可以在一定程度上认为解耦对于下游任务是有帮助的，反之，如果解耦表现与下游任务表现之间没什么关系，则说明解耦对下游任务帮助不大，这也是一个很符合常识的实验设计。接下来就是见证奇迹的时刻：

首先看看与ｂａｓｅｌｉｎｅ的对比，也就是使用纯ＣＮＮ，使用预训练的解耦表示学习作为特征输入，和使用真实值作为特征输入的情况下的学习曲线

毋庸置疑，使用真实值的模型表现最好，其次就是使用解耦后的特征，最糟糕的就是直接ＣＮＮ硬来，这可以初步说明解耦对于下游任务的重要性，但是解耦与表示的关系究竟如何呢，下面的结果可以给出一个强有力的回答，解耦对下游任务至关重要！

横坐标是对解耦好坏不同的衡量，总归都是越大解耦的越好，当然在无监督的情况下衡量解耦的好坏其实是一件很困难的事，就像让你评价食物好不好吃一样，不同人会得出不完全一致的结果，对于解耦效果也有很多评价指标目前还没有一个绝对公认的指标，纵坐标是训练的次数这个不难理解，最重要的是格子里的数字，其中是解耦分数与解答分数的相关系数，不难看出在左侧大多数是正值，也就是解耦表现与解答表现是较强的正相关关系，这也证实了我们的猜想，解耦的越好下游任务表现的越好。

另外我们可以关注一下最后一行，其中是较小的负值，最后一行代表的了重构误差，也就是说重构的好坏其实不能是下游任务表现好坏的最重要因素。换言之，重构表现虽然在很大程度上决定了隐变量蕴含原始图片信息的多少，但是不能决定信息的表现模式，如果大量信息杂乱无章的蕴含着因变量中，其对下游任务的帮助其实有限，信息的编码模式才是关键！

举个例子，我把下期彩票中奖号码加密后告诉你其实对你用处并不大，信息的编码模式在很大程度上决定了下游任务的难易程度，而非信息的多少。事有例外，如果信息过少会如何呢？

这是取表现不好的后百分之五十绘制的结果，可以看到重组损失在这里扮演着重要的多的地位，也就是说，表现糟糕与重组糟糕有重大关系——当隐变量中蕴含的信息过少时，下游任务也会受到重大影响。

因此这篇论文为我们指明了几个符合直觉但没有被严格论证的结论：

１．隐变量中信息的编码形式是最关键的因素（即解耦表示的重要性）

２．当重组损失过大，隐变量中蕴含的信息过少时，下游任务也会受到重大影响

另外，此篇论文引用了很多之前的工作，在这里安利一下我们维护的一个论文列表（里面包含了此篇论文中引用的重要文献），其中有ＡＩ方向上的经典工作与最新进展，都是我们自己读过认为非常好的论文。

[1] https://arxiv.org/pdf/1807.04225.pdf [2] https://arxiv.org/abs/1905.12506