如何实现高效联邦学习？跨终端、硬件加速等方案全都有

随着人类社会数字化进程的加快，由此产生了大量的数据，通过机器学习技术可以自动化地挖掘数据中蕴藏的宝藏，基于数据训练完成的模型已经应用在各类场景中。

然而由于数据隐私安全上的约束，研究者往往无法直接使用数据，联邦学习的诞生便是为了解决这一问题。其本质上是一种分布式机器学习框架，做到了在保障数据隐私安全及合法合规的基础上，实现数据共享，共同建模。

随着技术的发展，研究者一方面对联邦学习的应用越来越成熟，另一方面在应用中面临的问题也越来越复杂。例如如何构建一个可以高效部署、可扩展的联邦学习系统？在实践中，我们能否部署多个分散的参数服务器以建立一个并行联邦学习系统……

带着这些疑问，同时为了帮助读者更好的了解联邦学习，机器之心机动组组织策划了最新一期直播分享。

在 1 月 18 日的分享中，清华大学智能产业研究院副研究员、副教授刘洋将为我们做开场介绍，分享可信联邦学习的研究进展。

北京邮电大学副研究员，博士生导师徐梦炜分享了跨终端高效联邦学习算法与系统设计，从硬件 - 系统 - 算法全栈协同的角度讨论在资源受限角度下实现泛在智能的关键技术。

中山大学计算机学院在读博士生刘学正认为可以部署多个分散的参数服务器以建立一个并行联邦学习系统，并提出新的联邦学习算法 P-FedAvg（Parallel Federated Averaging）。

香港科技大学在读硕士程孝典将带来「联邦学习高性能硬件加速架构 FLASH」的介绍，相较于 CPU 和 GPU，基于 FPGA 实现的 FLASH 原型机对 9 种密码学运算的加速分别达到了 14 倍和 3.4 倍，对联邦学习应用的加速则达到了 6.8 倍和 2.0 倍。

分享主题一

可信联邦学习的研究进展

嘉宾简介：刘洋，清华大学智能产业研究院副研究员 / 副教授， 普林斯顿大学博士，清华大学本科毕业。曾任深圳前海微众银行股份有限公司资深研究员、联邦学习研究团队负责人。她拥有 30 余项国际国内授权专利，并在 Nature、 AAAI、 IJCAI、 USENIX、ACM TIST 等知名学术期刊发表科研成果。她是《联邦学习》和《Federated Learning》的主要作者之一。她担任 ACM TIST 期刊编委，曾担任 IEEE Intelligent Systems，IEEE TBD 等期刊客座编辑；曾获 CCF 科学技术奖科技进步杰出奖，AAAI 人工智能创新奖等多个奖项，获评 2022 麻省理工科技评论中国隐私计算科技创新人物。

分享摘要：联邦学习作为一种保护数据安全的分布式机器学习新范式，近几年被广泛研究与应用。围绕可信联邦学习的核心挑战问题，本报告将聚焦联邦学习中的效率、安全与性能在面向实际异构复杂场景中的前沿研究进展。

分享主题二

跨终端高效联邦学习算法与系统设计

嘉宾简介：徐梦炜，北京邮电大学副研究员，博士生导师。入选中国科协青年人才托举工程，北京市科技新星，MSRA “铸星计划” 学者。主要研究领域为边缘智能和系统软件，主持国家自然科学基金、科技部重点研发项目课题等多个项目。

个人主页：https://xumengwei.github.io/

分享摘要：本次报告中，徐梦炜将会介绍团队在跨终端设备（智能手机、IoT 等）场景下高效联邦学习的一系列研究工作，从硬件 - 系统 - 算法全栈协同的角度讨论在资源受限角度下实现泛在智能的关键技术。

分享主题三

并行联邦学习：一种具有理论保证的联邦学习加速方案

嘉宾简介：刘学正是中山大学计算机学院在读博士生，专注于联邦学习系统架构优化与通信效率提升，已发表 SCI 论文 3 篇，EI 论文 4 篇，相关论文发表在 IEEE/ACM ToN、IEEE TDSC、IEEE INFOCOM 等国际高水平会议与权威期刊上。

分享摘要：集中式参数服务器将严重限制联邦学习的规模与效率，一个简单的方法是部署多个分散的参数服务器以构建一个并行联邦学习系统。在本文中，我们提出一个新的联邦学习算法 P-FedAvg，该算法具有理论保证，可以有效加速联邦学习。

• 论文标题：Accelerating Federated Learning via Parallel Servers: A Theoretically Guaranteed Approach
• 论文链接：https://ieeexplore.ieee.org/document/9769746

分享主题四

联邦学习高性能硬件加速架构 FLASH

嘉宾简介 ：程孝典，香港科技大学在读硕士，导师为陈凯教授，研究兴趣为联邦学习、异构计算。

分享摘要：FLASH 是用于加速联邦学习中密码学操作的高性能硬件加速架构。其通过实现高性能的模幂和模乘运算，并结合数据流的动态调度，加速联邦学习中常用的九种密码学运算，进而大幅提高联邦学习应用的端到端性能。

• 论文标题：FLASH: Towards a High-performance Hardware Acceleration Architecture for Cross-silo Federated Learning
• 论文链接：FLASH 已被 NSDI 2023 接受，将于四月的会议中正式公开。

直播间：关注机动组视频号，立即预约直播。

交流群：本次直播有 QA 环节，欢迎加入本次直播交流群探讨交流。

机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。

• 点击阅读原文，访问机动组官网，观看更多精彩分享；
• 关注机动组服务号，获取每周直播预告。