【AAAI】四篇好文简读-专题10

一

论文题目：

Improved Text Classification via Contrastive Adversarial Training

论文摘要:

作者提出了一种简单而通用的方法来规范文本分类任务中基于变换器的编码器的微调工作。具体来说，在微调过程中，作者通过扰动模型的词嵌入矩阵来产生对抗性例子，并在干净的和对抗性的例子上进行对比性学习，以教导模型学习噪声不变的表示。通过对干净的和对抗性例子的训练以及额外的对比性目标，作者观察到和干净例子的标准微调有一致的改进。在几个GLUE基准任务中，作者的微调Bert_Large模型比Bert_Large基线平均高出1.7%，作者的微调Roberta_Large比Roberta_Large基线提高了1.3%。还使用三个意图分类数据集在不同领域验证了提出的方法，其中微调的Roberta_Large比Roberta_Large基线平均高出1-2%。对于具有挑战性的低资源场景，在三个意图分类数据集中各使用一半的训练数据（每个意图）来训练提出的系统，并且与使用全部训练数据训练的基线相比，取得了类似的性能。

论文链接：

https://aaai-2022.virtualchair.net/poster_aaai736

二

论文题目：

GeomGCL: Geometric Graph Contrastive Learning for Molecular Property Prediction

论文摘要:

最近，许多人致力于将图神经网络（GNNs）应用于分子特性预测，这是计算药物和材料发现的一项基本任务。阻碍GNNs成功预测分子特性的主要障碍之一是标记数据的稀缺性。尽管图对比学习（GCL）方法在标记数据不足的情况下取得了非凡的表现，但大多数方法都集中在为一般图形设计数据增强方案。然而，分子的基本属性会因为分子图的增强方法（如随机扰动）而改变。而在目前的GNN和GCL架构下，分子的关键几何信息仍然很少被发掘。为此，作者提出了一种新的图对比学习方法，利用分子在二维和三维视图中的几何信息，这就是GeomGCL。具体来说，作者首先设计了一个双视图几何信息传递网络（GeomMPNN），以适应性地利用分子的二维和三维图形的丰富信息。将不同层次的几何属性纳入其中，可以大大促进分子表征的学习。然后，作者设计了一个新的几何图形对比方案，使两种几何视图相互协作监督，以提高GeomMPNN的泛化能力。通过微调过程对GeomGCL的各种下游特性预测任务进行评估。在七个现实生活中的分子数据集上的实验结果证明了提出的GeomGCL的优越性。

论文链接：

https://aaai-2022.virtualchair.net/poster_aaai6883

三

论文题目:

Learning Contrastive Multi-View Graphs for Recommendation 论文摘要:

本文利用自我监督学习（SSL），从用户-物品交互图中学习更准确和稳健的表征。特别是，作者提出了一个新颖的SSL模型，它有效地利用了对比多视图学习和伪孪生网络来构建一个预训练和后训练框架。此外，作者在预训练阶段提出了三种图增强技术，并探索了不同增强技术的组合效果，使得可以学到通用和稳健的表示为基于GNN的推荐。在真实世界的数据集上进行的简单实验评估表明，所提出的解决方案明显提高了推荐的准确性，特别是对于稀疏的数据，而且还具有抗噪性。

论文链接：

https://aaai-2022.virtualchair.net/poster_sa160

四

论文题目:

Mutual Contrastive Learning for Visual Representation Learning 论文摘要:

作者提出了一种用于一般视觉表征学习的协作学习方法，称为互对比学习(Mutual Contrastive Learning，MCL)。MCL的核心思想是在一组网络之间实现对比分布的相互作用和传递。互动式对比学习(Interactive Contrastive Learning，ICL)是MCL的一个重要组成部分。与普通对比学习相比，ICL能够聚合跨网络嵌入信息，最大化两个网络之间互信息的下界。这使得每个网络都能从其他网络中学习额外的对比知识，从而为视觉识别任务提供更好的特征表示。作者强调，由此产生的MCL在概念上是简单的，但在经验上是强大的。它是一个通用的框架，既可以应用于监督表征学习，也可以应用于自我监督表征学习。在图像分类和迁移学习在目标检测上的实验结果表明，MCL可以获得一致的性能提升，表明MCL能够引导网络生成更好的特征表示。

论文链接：

https://aaai-2022.virtualchair.net/poster_aaai1139 Github链接：

https://github.com/winycg/MCL