【ArXiv】四篇好文简读-专题3

一

论文题目：

Contrastive Adaptive Propagation Graph Neural Networks for Efficient Graph Learning

论文摘要:

图形神经网络（GNNs）通过提取和传播结构感知特征，在处理图形数据方面取得了巨大的成功。现有的GNN研究设计了各种传播方案来指导邻居信息的聚合。最近，该领域已经从关注局部邻居的局部传播方案发展到可以直接处理由局部邻居和高阶邻居组成的扩展邻居的扩展传播方案。尽管其性能令人印象深刻，但现有的方法仍然不足以构建一个高效且可学习的扩展传播方案，该方案能够自适应地调整局部和高阶邻居的影响。本文提出了一种有效的端到端框架，即对比自适应传播图神经网络（CAPGNN），通过结合个性化PageRank和注意技术来解决这些问题。CAPGNN使用稀疏局部亲和矩阵的多项式对可学习的扩展传播方案进行建模，其中多项式依赖于个性化的PageRank来提供优越的初始系数。为了自适应调整局部邻域和高阶邻域的影响，引入系数注意模型来学习调整多项式的系数。此外，作者利用自监督学习技术，设计了一种负自由熵感知对比损失，以明确利用未标记数据进行训练。作者将CAPGNN实现为两个不同版本的CAPGCN和CAPGAT，分别使用静态和动态稀疏局部亲和矩阵。在图形基准数据集上的实验表明，CAPGNN可以始终优于或匹配最先进的基线。

论文链接：

https://arxiv.org/abs/2112.01110

Github:

https://github.com/hujunxianligong/CAPGNN

二

论文题目：

SparRL: Graph Sparsification via Deep Reinforcement Learning

论文摘要:

图稀疏化涉及数据缩减，其中首选具有类似结构的边缩减图。现有的方法大多是基于采样的，这通常会带来较高的计算复杂度，并且对于不同的约简目标缺乏灵活性。我们提出了SparRL，这是第一个通用和有效的基于强化学习的图形稀疏化框架。SparRL可以很容易地适应不同的约简目标，并保证与图的大小无关的复杂性。大量实验表明，SparRL在生成涉及多种目标的高质量稀疏图方面优于所有流行的稀疏化方法。

论文链接：

https://arxiv.org/abs/2112.01565

三

论文题目：

Handwritten Mathematical Expression Recognition via Attention Aggregation based Bi-directional Mutual Learning

论文摘要:

手写数学表达式识别的目的是从给定的图像中自动LaTeX序列。目前，基于注意的编解码模型被广泛应用于这项任务中。它们通常以从左到右（L2R）的方式生成目标序列，而不利用从右到左（R2L）的上下文。本文提出了一种基于注意聚合的双向互学习网络（ABM），该网络由一个共享编码器和两个并行逆解码器（L2R和R2L）组成。这两个译码器通过相互蒸馏来增强，在每个训练步骤中涉及一对一的知识转移，充分利用来自两个反向的互补信息。此外，为了处理不同尺度下的数学符号，提出了一种注意力聚合模块（AAM）来有效地集成多尺度覆盖注意。值得注意的是，在推理阶段，假设模型已经从两个反向学习知识，作者只使用L2R分支进行推理，保持原始参数大小和推理速度。大量实验表明，作者提出的方法在没有数据增强和模型融合的情况下，在CROHME 2014、CROHME 2016和CROHME 2019上的识别准确率分别为56.85%、52.92%和53.96%，大大优于最先进的方法。补充资料中提供了源代码。

论文链接：

https://arxiv.org/abs/2112.03603

四

论文题目：

Few-shot Deep Representation Learning based on Information Bottleneck Principle

论文摘要:

在标准异常检测问题中，假设样本来自单一正常数据源，在无监督的环境中训练检测模型。然而，在实践中，正常数据通常由多个类组成。在这样的环境中，学习在没有大规模标记数据的正常类之间的差异中区分正常实例和异常是一个重大挑战。在这项工作中，作者试图通过准备每个普通类中的几个示例来克服这一挑战，这并不太昂贵。上述设置也可以描述为多个正常类的一些few-shot学习，目的是学习异常检测的有用表示。为了在训练中利用有限的标记样本，作者将深层特征空间中标记样本之间的类间距离集成到MAP loss。作者从信息论原理推导出它们之间的关系。作者的实证研究表明，该模型改进了深层特征空间中正常类的分割，有助于识别异常类实例。

论文链接：

https://arxiv.org/abs/2111.12950