[IJCAI 2022 | 论文简读] 基于知识蒸馏的持续联邦学习

简读分享 | 乔剑博 编辑 | 赵晏浠

论文题目

Continual Federated Learning Based on Knowledge Distillation

论文摘要

联邦学习 (FL) 是一种很有前途的方法，可以在不暴露其隐私的情况下，在多个客户拥有的去中心化数据上学习共享全球模型。在现实世界的场景中，客户端积累的数据会随着时间的推移而变化。因此，全局模型在学习新任务时往往会忘记从先前任务中获得的知识，呈现出“灾难性遗忘”的迹象。以前的集中学习研究使用数据重放和参数正则化等技术来减轻灾难性遗忘。不幸的是，这些技术无法充分解决 FL 中的重要问题。作者建议使用蒸馏持续联合学习 (CFeD) 来解决 FL 下的灾难性遗忘问题。CFeD 在客户端和服务器上执行知识蒸馏，每一方独立拥有一个未标记的代理数据集，以减少遗忘。此外，CFeD为不同的客户分配不同的学习目标，即学习新任务和复习旧任务，旨在提高模型的学习能力。结果表明，作者的方法在减轻灾难性遗忘方面表现良好，并在两个目标之间取得了良好的平衡。

论文链接

https://www.ijcai.org/proceedings/2022/0303.pdf