微众银行AI团队开源联邦学习框架，并发布《联邦学习白皮书1.0》

（图片由AI科技大本营付费下载自视觉中国）

编辑 | Jane

来源 | 《联邦学习白皮书1.0》

出品 | AI科技大本营(ID：rgznai100）

【导语】2019年，联邦学习成为业界技术研究与应用的焦点。近日，微众银行 AI 项目组编制并发布了《联邦学习白皮书1.0》，并开源了自研的联邦学习框架。白皮书中对联邦学习的背景、概述、分类、研究、应用案例与发展路径进行了全面的介绍，总结了联邦学习技术发展至今取得的成果以及对未来的展望。

数据不够、数据之间存在壁垒、数据隐私与安全等问题是大数据和人工智能时代一直没有解决的困境，传统机器学习方法的瓶颈已经开始显现，设计一个新的机器学习框架，一种新的解决方法，让AI可以更高效和准确的使用海量数据，是亟需突破的课题。而联邦学习正是解决这些问题的可行方案。

• 什么是联邦学习？

联邦学习是一个机器学习框架。各个企业的自有数据不出本地，而后联邦系统可以通过加密机制下的参数交换方式，即在不违反数据隐私法规情况下，建立一 个虚拟的共有模型。这个虚拟模型就好像大家把数据聚合在一起建立的最优模型一样。但在建立虚拟模型的时候，数据本身不移动，也不泄露隐私和影响数据合规。

这样，建好的模型在各自的区域仅为本地的目标服务。在这样一个联邦机制下，各个参与者的身份和地位相同，而联邦系统帮助大家建立了“共同富裕”的策略。这就是为什么这个体系叫做“联邦 学习”。

根据不同的数据分布，联邦学习可以分为三种类型：横向联邦学习、纵向联邦学习和迁移联邦学习。

如下图所示，以纵向联邦学习为例，联邦学习的架构是一个“闭环”学习机制。

• 联邦学习有什么优势？

联邦学习使得两方或多方的数据使用实体在合作当中数据不出本地也能共同使用，解决 数据孤岛问题。

1、数据隔离：各方数据都保留在本地，不泄露隐私也不违反法规。

2、对等：在联邦学习的体系下，各个参与者的身份和地位相同。

3、模型无损：联邦学习的建模效果和将整个数据集放在一处建模的效果相同，或相差不大（在各个数据的用户对齐(user alignment)或特征(feature alignment)对齐的条件下）；迁移学习是在用户或特征不对齐的情况下，也可以在数据间通过交换加密参数达到知识迁移的效果。

4、共同获益：多个参与者联合数据建立虚拟的共有模型，并且共同获益的体系。

• 联邦学习有什么用？

能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和建模。

联邦学习可以应用于不同行业及其垂直领域，包括金融服务、物流、供应链、运营商、医疗健康等。在使用联邦学习的过程中，可采用联合共建、平台服务等方式进行解决方案落地。

比如在小微企业贷款项目中保证数据安全，不对外输出，同时提高预测能力，共享模型效果；在反洗钱场景中，满足金融数据安全的合规，解决样本数据集少的问题；在故障检测中，保证不同设备运营商的数据安全，通过联邦学习建模技术，解决单个局点标签少、预测准确率低问题，提升运营效率又降低成本；医疗领域的图像识别中也有着重要的应用，各医学机构间数据不共享，用户不愿意泄露个人的隐私数据，联邦学习解决了医学领域的数据孤岛问题，提高在医学数据中应用能力，联合多方数据，提升模型效果。

• 开源项目

联盟学习开源项目FATE（Federated AI Technology Enabler），提供了一种基于数据隐私保护的安全计算框架，为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。安全底层支持同态加密、秘密共享、哈希散列等多种多方安全计算机制，算法层支持多方安全计算模式下的逻辑回归、Boosting、联邦迁移学习等。

可以帮助学术研究人员快速开发算法原型；为工业界人员快速开发应用提供一种简洁有效的解决方案，支持在多场景下的开拓和应用；借助其灵活的架构，用户可以轻松地将计算工作部署到多种平台（CPU、GPU）和设备（桌面设备、服务器集群、移动设备等）

1、安装环境与软件环境：

（1）可支持Linux 或 Mac 系统

（2）需要 jdk1.8+、Python3.6、python virtualenv、mysql5.6+、redis-5.0.2

2、支持独立和集群部署

（1）独立安装部署参考：

https://github.com/FederatedAI/FATE/tree/master/standalone-deploy

（2）集群安装部署参考：

https://github.com/FederatedAI/FATE/tree/master/cluster-deploy

• 白皮书概览

FedAI网址：

https://www.fedai.org.cn/cn/

Github地址：

https://github.com/FederatedAI/FATE

获取白皮书

https://img.fedai.org.cn/fedweb/1552917119598.pdf

（*本文为 AI科技大本营整理文章，转载请微信联系 1092722531）