可信联邦学习前沿论文与最新进展

题图摄于香港太平山顶

本文中介绍的四篇关于可信联邦学习的论文已经在开源项目 FATE 的 research 仓库中存放，感兴趣的读者可以查阅。（ https://github.com/FederatedAI/research ）

日前，由机器之心策划的线上视频直播——可信联邦学习(Trustworthy federated learning)论文线上分享成功举办。香港科技大学计算机与工程系讲座教授和前系主任、中国人工智能学会（CAAI）荣誉副理事长杨强教授带领四篇可信联邦学习最新论文的作者，对该领域的前沿研究进行了详细的介绍。

杨强教授系统性地回顾了联邦学习的进展和面临的挑战。联邦学习是人工智能和隐私计算的重要交集，能够突破目前人工智能过度依赖中心化数据的瓶颈，在原始数据和模型私密参数都不动和不可见的前提下完成机器学习任务。可信联邦学习是一种增强型的联邦学习，其主要特征包括数据与模型安全可证明，模型性能可使用，效率可控，决策可解释，模型可监管以及普惠。

杨强教授简要介绍了可信联邦学习的前沿研究成果：No-free lunch定理，为隐私计算安全与效能的平衡提供定量分析的方法；FedCG，利用生成对抗网络和分割学习，既保护隐私又保障性能；FedBCD，提高VFL纵向联邦学习的通讯、训练效率；FedIPR，基于模型和数据集水印实现联邦学习模型所属权验证。

杨强教授还展望了联邦学习的热点研究方向，包括个性化联邦学习（解决Non-IID挑战）；模型流通（模型的定价、交易、审计挑战）等。

而后以下四篇论文作者从不同角度详细介绍了可信联邦学习的前沿成果。

论文一

论文信息

作者：Xiaojin Zhang, Hanlin Gu, Lixin Fan, Kai Chen, Qiang Yang

标题：No Free Lunch Theorem for Security and Utility in Federated Learning

论文全文链接：

https://arxiv.org/abs/2203.05816

详细解读文章链接：

可信联邦学习最新论文：从信息论角度，提出隐私与模型性能的No-free lunch定理

香港科技大学博士后研究员张晓今介绍了《联邦学习中隐私与模型性能没有免费午餐定理》。该论文首次从信息论的角度，理论量化了联邦学习的模型效用与隐私保护二者之间的制约关系，有助于研究人员设计实用且安全的联邦学习系统。No-free lunch定理的通用框架还可以指导合适的保护参数的选取，以满足多个维度的个性化要求。 ϵϵ  的量化关系还可以作为设计自适应保护机制的基础。

论文二

论文信息

作者：Di Chai，Leye Wang，Junxue Zhang，Liu Yang，Shuowei Cai，Kai Chen，Qiang Yang

标题：Practical Lossless Federated Singular Vector Decomposition over Billion-Scale Data

论文全文链接：

https://dl.acm.org/doi/abs/10.1145/3534678.3539402

详细解读文章链接：

一种基于随机掩码的联邦线性回归思路

香港科技大学计算机学院在读博士生柴迪介绍了《FedSVD：10 亿规模数据上的无损联邦奇异值分解》。该论文介绍了一种基于随机掩码的纵向联邦线性回归思路。FedSVD方案的效率比同态加密提高四个数量级，误差比差分隐私方案小10个数量级。FedSVD能够支持三个具有百亿规模数据的应用，包括主成分分析、线性回归、潜在语义分析，可在多方生物信息数据分析、多方金融数据建模等场景落地实践。

论文三

论文信息

作者：Yuezhou Wu, Yan Kang, Jiahuan Luo, Yuanqin He, Lixin Fan, Rong Pan, Qiang Yang

标题：FedCG: Leverage Conditional GAN for Protecting Privacy and Maintaining Competitive Performance in Federated Learning

论文全文链接：

https://www.ijcai.org/proceedings/2022/324

详细解读文章链接：

FedCG：利用条件生成对抗网络在联邦学习中保护隐私并保持模型性能

微众银行人工智能部门联邦学习研究团队负责人康焱介绍了《FedCG: 联邦生成对抗网络保护隐私保障性能》。该论文在横向联邦学习中将生成对抗网络与分割学习相结合，利用知识蒸馏，在保护数据隐私的同时保持有竞争力的模型性能。FedCG将每个客户端的本地网络分解为一个私有特征提取器和一个公共分类器，并将特征提取器保持在本地以保护隐私。FedCG与服务器共享客户端的生成器，以聚合共享知识，从而提高客户端本地分类网络的性能。

论文四

论文信息

作者：Bowen Li, Lixin Fan, Hanlin Gu, Jie Li, Qiang Yang

标题：FedIPR: Ownership Verification for Federated Deep Neural Network Models

论文全文链接：

https://arxiv.org/abs/2109.13236v3

详细解读文章链接：

FedIPR: 联邦学习模型所属权验证

微众银行人工智能部门研究员古瀚林介绍了《FedIPR：联邦学习模型所属权验证》。该论文提出了首个联邦学习模型版权验证框架，创新性地解决了模型所有权验证在联邦学习中的多水印冲突问题和性能问题。模型版权保护问题在FedIPR 框架在不牺牲模型可用性前提下，提供了可靠且鲁棒的模型反盗版机制，保护了模型拥有者的合法权利和商业利益。

联邦学习领域专家们的研究正在逐渐为可信联邦学习打下坚实的基础。于此同时，仍存在如何实现隐私保护、模型性能、计算效率三者的平衡，如何提高决策的可解释性，如何保证模型可监管、可审计等热点问题亟待解决。我们期待在产学研各界的共同努力下，可信联邦学习从理论完美走向实用完美，为数字经济的发展和数据要素流通提供良好的解决方案。

要想了解联邦学习、隐私计算、云原生和区块链等技术原理，请立即长按以下二维码，关注本公众号亨利笔记 （ henglibiji )，以免错过更新。