【NeurIPS】四篇好文简读-专题8

一

论文题目：

GNNGuard: Defending Graph Neural Networks against Adversarial Attacks 论文摘要：

图的深度学习方法在各个领域都取得了非凡的表现。然而，最近的研究结果表明，即使是最强大和最流行的图神经网络 (GNN)，图结构的微小、不明显的扰动也会灾难性地降低其性能。在这里，作者开发了 GNNGuard，这是一种通用算法，可防御各种扰乱离散图结构的训练时间攻击。GNNGuard 可以直接合并到任何 GNN 中，它的核心原理是检测和量化图结构和节点特征之间的关系（如果存在），然后利用这种关系来减轻攻击的负面影响。GNNGuard 学习如何最好地为连接相似节点的边分配更高的权重同时去除不相关节点之间的边。修改后的边允许神经元信息在底层 GNN 中的稳健传播。GNNGuard 引入了两个新组件，邻居重要性估计和逐层图内存，作者凭经验证明这两个组件对于成功防御都是必要的。在五个 GNN、三种防御方法和五个数据集（包括具有挑战性的人类疾病图）中，实验表明 GNNGuard 比现有防御方法平均高出 15.3%。值得注意的是，GNNGuard 在面对包括定向和非定向攻击在内的各种对抗性攻击时，可以有效地恢复 GNN 较好的性能，并且可以防御对异构图的攻击。

论文链接：

https://arxiv.org/abs/2006.08149 代码链接：

https://github.com/mims-harvard/GNNGuard

二

论文题目：

StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows

论文摘要：

高质量、多样化的图像现在可以通过无约束的GANs来生成。然而，使用（语义）属性来控制生成过程同时保持输出的质量仍然是困难的问题。此外，由于GAN隐空间的纠缠性质，沿着一个属性执行编辑很容易导致其他属性发生不必要的更改。本文在对纠缠隐空间进行条件探索的背景下，研究了属性约束抽样和属性控制编辑的两个子问题。通过将约束探索定义为受属性特征约束的条件连续标准化流的实例，作者将StyleFlow作为一种简单、有效、鲁棒的解决方案。作者使用StyleGAN的人脸和汽车隐空间来评估此方法，并在真实照片和StyleGAN生成的图像上沿着各种属性演示了细粒度的解纠缠编辑。例如，对于面部表情，可以改变相机的姿势、光照度的变化、表情、面部毛发、性别和年龄。最后，通过广泛的定性和定量比较，作者证明了StyleFlow与之前的和几个同时期的工作的优越性。

论文链接：

https://dl.acm.org/doi/10.1145/3447648 代码链接：

https://github.com/RameenAbdal/StyleFlow

三

论文题目：

MESA: Boost Ensemble Imbalanced Learning with MEta-SAmpler 论文摘要：

不平衡学习 (IL)，即从类别不平衡数据中学习无偏模型，是一个具有挑战性的问题。包括重采样和重新加权在内的典型 IL 方法是基于一些启发式假设设计的。在假设不成立的复杂任务中使用它们，经常遇到性能不稳定、适用性差和计算成本高的问题。在本文中，作者介绍了一种名为 MESA 的新型集成 IL 框架。它在迭代中自适应地重新采样训练集以获得多个分类器并形成级联集成模型。MESA 直接从数据中学习采样策略以优化最终指标，而不是遵循随机启发式方法。此外，与流行的基于元学习的 IL 解决方案不同，作者通过在与任务无关的元数据上独立训练元采样器来分离 MESA 中的模型训练和元训练。这使得 MESA 普遍适用于大多数现有的学习模型，并且元采样器可以有效地应用于新任务。对合成和现实世界任务的大量实验证明了 MESA 的有效性、稳健性和可转移性。

论文链接：

https://proceedings.neurips.cc//paper/2020/hash/a64bd53139f71961c5c31a9af03d775e-Abstract.html 代码链接：

https://github.com/ZhiningLiu1998/mesa

四

论文题目：

Mastering Atari Games with Limited Data 论文摘要：

强化学习在许多应用中都取得了巨大的成功。然而，样本效率仍然是一个关键的挑战，其中效果较好的方法需要数百万（甚至数十亿）的环境步骤来进行训练。近年来，样本高效的图像RL算法取得了显著进展；然而，在雅达利游戏上实现与人类水平一致的性能仍然是一个难以实现的目标。作者提出了一种基于MuZero的基于样本高效的可视化RL算法，并将其命名为Efficient Zero。此方法在Atari100k上仅通过2小时的实时游戏体验就实现了190.4%的平均人类性能和116.0%的中值性能，并且在DMControl100k上的某些任务中优于状态SAC。这是算法第一次用如此少的数据在雅达利游戏上实现超越人类的性能。效率零的性能接近于DQN在训练2亿帧时的性能，而作者使用的数据减少了500倍。Efficient Zero的低样本复杂度和高性能可以使RL更接近现实世界的应用情况。

论文链接：

https://proceedings.neurips.cc/paper/2021/file/d5eca8dc3820cad9fe56a3bafda65ca1-Paper.pdf 代码链接：

https://github.com/YeWR/EfficientZero