【ICLR 2021】四篇好文简读-专题1

一

论文题目：

Interpretable Sequence Classification Via Prototype Trajectory

论文摘要：

这篇文章作者提出了一个新的可解释的循环神经网络（RNN）模型，称为ProtoryNet，其中作者引入了原型轨迹的新概念。受现代语言学中原型理论的启发，ProtoryNet通过为文本序列中的每个句子找到最相似的原型，并将每个句子与原型的接近程度反馈给RNN骨干，从而进行预测。然后，RNN主干捕捉原型的时间模式，并将其称为原型轨迹。原型轨迹能够直观、精细地解释模型如何达到最终的预测，类似于人类分析段落的过程。在多个公共数据集上进行的实验显示，所提出的方法不仅更容易解释，而且比目前最先进的基于原型的方法更准确。此外，作者还报告了一项调查结果，表明人类用户认为ProtoryNet与其他基于原型的方法相比，更加直观和容易理解。

论文链接：

https://openreview.net/pdf?id=KwgQn_Aws3_

Github链接：

https://github.com/dathong/ProtoryNet

二

论文题目：

Representation Learning for Sequence Data with Deep Autoencoding Predictive Components

论文摘要：这篇文章作者提出了深度自动编码预测成分（DAPC）--一种用于序列数据的自我监督的表征学习方法，这个方法是基于这样的假设：序列数据的有用表征应该在潜空间中表现出简单的结构。作者通过最大限度地估计潜伏特征序列的预测信息来鼓励这种潜伏结构，这是每个时间步骤中过去和未来窗口之间的相互信息。与对比学习常用的互信息下限不同，作者采用的预测信息估计值在高斯假设下是精确的。此外，它可以在没有负采样的情况下进行计算。为了减少强大的编码器所提取的潜在空间的退化性，并保留输入的有用信息，作者用一个具有挑战性的掩蔽重建损失来规范预测信息学习。这个方法可以为预测任务提取预测特征。

论文链接：https://arxiv.org/abs/2010.03135

Github链接：https://github.com/JunwenBai/DAPC

三

论文题目：

Improving transformation invariance in contrastive representation learning

论文摘要：文章目标是提升对比学习中表征的不变性。虽然现有的对比学习方法已经在一定程度上使得学到表征具有不变性，但这篇文章寻求能显式地强制使编码过程具有不变性的方法。为了实现这一点：（1）作者引入了一个用于训练过程的梯度正则化项，实验表明该正则化项使得学到的表征在下游任务中的表现更好。（2）作者提出了特征平均化方法，该方法通过将不同的变换下的表征进行加权组合，以得到更具有不变性的表征向量。（3）作者提出了一个有着多个下游任务的新数据集Spirograph，在该数据上的实验结果表明作者的方法能够提升表征的不变性。

论文链接：https://arxiv.org/pdf/2010.09515.pdf

Github链接：https://github.com/ae-foster/invclr

四

论文题目：

What Should Not Be Contrastive in Contrastive Learning

论文摘要：通常的对比学习方法有前置的特征表示不变性假设（例如对颜色的不变性），这种假设往往会对下游任务产生影响。这篇文章提出了LooC（Leave-one-out Contrastive Learning）框架，模型使用了多头神经网络捕获每种数据增广的信息，并且通过将不同的视觉表征映射到分离的嵌入空间中以捕获特征中的可变性和不变性。在实验部分，该框架在不同粒度的和小样本的下游分类任务中取得了比以往的对比学习模型更好的结果。

论文链接：https://arxiv.org/abs/2008.05659