ICLR的两个小热点

ICLR这个会议采取了网上公开评审的方式评审论文，所有的文章都可以在网上搜索下载到，同时还可以看到评审人和作者的互动。我觉得这个形式蛮有意思的，比很多会议都要开放，不仅方便了我们阅读文章，还提供了一个专业平台指出文章的不足。要浏览阅读ICLR的文章，网上有一个很好用的搜索器，会对评审人的平均评分进行排序，可以帮我们筛选出很多好的文章出来，链接：https://chillee.github.io/OpenReviewExplorer

这里先介绍两篇我觉得蛮有意思的ICLR较高分的文章，都是在做OCT图像分类或者病变部位检测时找想法的时候查的，放在这里做一个分享吧~

1.《i-RevNet: Deep Invertible Networks》

我们知道深度神经网络，不管架构如何，本质上是一个复杂建模的判别模型，它的功能就是把输入的信号（图像），映射到一个概率空间。对于一些特征任务，倒数第二层被称为CNN码，也有称为bottleneck特征的，这时候可以把深度神经网络作为一个特征提取器，把图像提取出特征出来。

作为分类器而言，深度神经网络分类的效果是很好啦，但是即使这样其功能还是太局限了，深度神经网络很多操作是不可逆甚至信息丢失（例如池化）的，所以并不具备从流形空间反采样回图像空间的功能（DCGAN和VAE之类的生成模型可以做到）。

可能你会问，为什么要从流形空间反采样回图像空间，这样有什么好处？

比方说我之前做的OCT病变部位检测，如果深度神经网络可以做到反采样回图像空间，那么一个很美好的事情就是，我可以用统一的一个架构，同时做到分类病变图像以及病变部位检测（从病变图像的流型空间采样到和它很相似的正常图像，做差即可）

那么这篇文章做到这个事情了吗？

并没有。这篇文章确实做到了一个分类效果和resnet相当的可逆深度卷积神经网络。但是遗憾的是，反采样回图像空间的功能远远达不到生成模型的性能，在流形空间的线性采样效果中，并不能生成连续的有意义的图像（不如DCGAN和VAE之类的方法）。不过这篇文章确实做出了一个具有良好分类性能可逆深度神经网络的架构。

图1流形反采样的图像效果，中间的图像都是没有意义的

2.《Wasserstein Auto-Encoders》

现在生成模型的两个比较热的阵营估计就是GAN和VAE两个流派了。如果说DCGAN这类方法通过实验寻找到一个良好设计的稳定GAN架构，颇具工程师风格，那么wasserstein距离的概念的引入则是有着十足的数学家味道。

wasserstein距离是用来度量分布的距离的，其首先用在GAN中，主要是为了解决GAN的训练不稳定（模式坍塌）的问题，这篇文章则是把wasserstein距离用在了VAE中，最后实验表明，其采样效果获得了一定效果的提升。

GAN和VAE系列对比的话，GAN方法生成的图像会比VAE更加真实，清晰。，相比之下，VAE生成的图像会比较模糊。但是GAN方法并不具有自编码器结构，因此VAE系方法可以将图像进行降维，这一点是GAN做不到的。

最近想做的一个事情就是，拿WAE把OCT图像降维到二维平面看看数据点分布怎么样，拿高斯混合模型分类看看效果，如果效果可以的话，就可以发文章了…

>_