【论文推荐】了解《动态联邦学习》必看的6篇论文（附打包下载地址）

论文推荐

“SFFAI142期来自美国西北大学的王礼旭同学推荐的文章主要关注于基础研究的动态联邦学习领域。”

关注文章公众号

回复"SFFAI142"获取本主题精选论文

01

Federated Continual Learning with Weighted Inter-client Transfer (ICML 2021)

推荐理由：

该工作提出了一种联邦持续学习，作者假设联邦学习框架中所有用户都按照一定的任务顺序来学习。在特定的时间点，对每个用户而言，其需要学习的任务可能已经被其他用户所学习过，所以可以有效地从其他用户所学到的知识中迁移过来，当然对于不相关的知识，需要消除其不利影响。

为解决该问题，该工作作者提出了一种模型参数解耦算法，可以对于每个用户在每个任务中学到的知识，或者说模型参数解耦成task-general和task-specific两部分，然后在中央服务器建立一个task-specific参数的数据库。这样在后续的训练中，不同用户就可以以自己特定的attention mask去这个数据库中挑对自己本地训练有利的参数。

根据该工作实验的设定，每个用户的task sequence是随机确定的，这一点不符合我们所报告工作中的联邦类别增量学习问题，在他们的问题中，旧任务的数据有可能会在不远的未来某个时间重新出现，这样旧任务的灾难性遗忘现象就得到了缓解，而在联邦类别增量学习问题中，旧任务的数据在未来的时间最多只会零星出现，无法缓解灾难性遗忘现象。

02

Addressing Class Imbalance in Federated Learning (AAAI 2021)

推荐理由：

该工作解决了经典联邦学习中的类别不平衡问题，因为类别增量学习其实可以看成一种极端情况下的类别不平衡问题，所以该工作与所报告内容非常相关。

所报告工作的class-aware gradient compensation loss是由该论文的Ratio-Loss启发而来。

03

iCaRL: Incremental Classifier and Representation Learning (CVPR 2017)

推荐理由：

最经典的类别增量学习paper，提出了exemplar-replay的增量学习方法，启发了一系列replay-based methods，研究增量学习必读文章。

所报告工作的class-semantic relation distillation loss由该工作以及另一些相关论文启发而来。

04

Robbing the Fed: Directly Obtaining Private Data in Federated Learning with Modified Models (ICLR 2022)

推荐理由：

联邦学习reconstruction攻击的state-of-art。

为了防止这种重构攻击，所报告工作中设计了一个基于梯度的perturbed sample的通讯机制，用于保证用户和代理服务器间的安全通信。

05

iDLG: Improved Deep Leakage from Gradients

推荐理由：

所报告工作中的基于梯度的通讯机制由该论文启发而来。

该论文有效地加入label information来帮助原先deep leakage from gradient(NeurIPS 2019)工作的数据重构优化过程，速度更快，精度更高。

06

Looking Back on Learned Experiences For Class/task Incremental Learning (ICLR 2022)

推荐理由：

提出了一种cost-free的增量学习方法，与经典的replay-based和regularization-based的方法不同，该论文从已学到的知识中生成旧任务的数据来帮助增量学习过程中的灾难性遗忘减弱。

该论文所提出方法的性能甚至超过部分replay-based的增量学习方法，以此可见，未来增量学习的研究重点可能会是在non-replay方法上。