[AAAI 2021]四篇好文简读-专题4

智能生信

发布于 2021-11-02 17:12:44

4450

发布于 2021-11-02 17:12:44

文章被收录于专栏：智能生信智能生信

一

论文题目：

Self-Attention Attribution: Interpreting Information Interactions Inside Transformer

论文摘要:

基于Transformer的模型的巨大成功得益于强大的多头自我注意机制，该机制从输入中学习标记的依赖性并编码上下文信息。以前的工作努力将模型决策归因于具有不同显著性的单个输入特征，但他们未能解释这些输入特征如何相互作用以达成预测。在本文中，作者提出了一种自注意力的归因方法来解释Transformer内部的信息互动。作者以BERT为例，进行了广泛的研究。首先，作者应用自我注意力归因法来识别重要的注意力头，而其他的注意力头可以在边际性能下降的情况下被修剪掉。此外，作者提取每一层中最突出的依赖关系来构建一个归因树，它揭示了Transformer内部的层次性互动。最后，作者表明，归因结果可以作为对抗模式来实现对BERT的非目标攻击。

论文链接：

https://arxiv.org/abs/2004.11207

Github链接：

https://github.com/YRdddream/attattr?ref=pythonrepo.com

二

论文题目：

Local Differential Privacy for Bayesian Optimization 论文摘要：

当今数据密集型在线学习系统中对隐私的关注日益上升，作者提出了一种具有局部微分隐私(LDP)保证的非参数高斯过程设置中的黑箱优化。具体来说，从每个用户那里计算的奖励被进一步损坏以保护隐私，学习器只能获得损坏的奖励以减少损失。作者首先推导出任何LDP机制和任何学习算法的遗憾下界。然后，作者提出了基于GP-UCB框架和Laplace DP机制的三种几乎最优的算法。在此过程中，作者还提出了一种基于新的平均均值技术和核近似的贝叶斯优化(BO)方法(称为MoMA-GP-UCB)，这补充了以前的BO算法的长尾回报，降低了复杂性。在人工和真实数据集上与不同算法的比较突出了MoMAGP-UCB在私有和非私有场景下的优越性能。

论文链接：

https://ojs.aaai.org/index.php/AAAI/article/view/17330

三

论文题目：

Learning to Pre-train Graph Neural Networks 论文摘要：

图神经网络(GNNs)已经成为图上表示学习的事实上的标准，它通过递归地从图的邻域中聚合信息来推导出有效的节点表示。虽然GNN可以从头开始训练，但预训练GNN可以学习下游任务的可转移知识，最近已被证明可以提高技术水平。然而，传统的GNN预训练方法遵循两步范式：1)对丰富的未标记数据进行预训练，2)对下游标记数据进行微调，由于两步优化目标的差异，两者之间存在明显的差距。在本文中，作者进行了分析来显示预训练和微调之间的差异，并为了缓解这种差异，作者提出了L2P-GNN，一种自监督的预训练策略。关键的见解是，L2PGNN试图学习如何在训练前的过程中以可转移的先验知识的形式进行微调。为了将局部和全局信息编码到先验中，L2P-GNN进一步在节点和图级上设计了双重适应机制。最后，我们对各种GNN模型的预训练进行了系统的实证研究，使用公共的蛋白质图收集和新的书目图汇编进行预训练。实验结果表明，L2P-GNN能够学习有效的、可转移的先验知识，为下游任务产生强大的表征。

论文链接：

https://yuanfulu.github.io/publication/AAAI-L2PGNN.pdf 代码链接：

https://github.com/rootlu/L2P-GNN

四

论文题目：

Dynamically Grown Generative Adversarial Networks 论文摘要：

最近的工作引入了渐进式网络增长作为简化大型GAN训练的方法，但模型设计和结构增长策略仍未得到充分探索，需要对不同的图像数据进行手动设计。在本文中，作者提出了一种在训练，自动优化网络架构及其参数过程中动态增长GAN的方法。该方法将结构搜索技术嵌入为基于梯度的训练的交替步骤，以定期为生成器和鉴别器寻找最优的结构增长策略。它不仅可以简化训练，还具有更广泛的结构设计空间进而获得了性能提高。实验结果证明了它是目前最先进的图像生成技术。在搜索过程中的观察也为GAN模型设计提供了建设性的见解，如生成器鉴别器平衡和卷积层选择。