联邦学习与云原生联邦学习平台

在近日GDG举办的“AI 隐私保护：探索跨域数据的安全流动”活动中，VMware中国研发云原生实验室资深研究员、联邦学习开源项目 FATE/KubeFATE代码维护者彭麟，分享了云原生联邦学习平台的题目。

回放链接请戳👇

《联邦学习与云原生联邦学习平台》彭麟

人工智能的三大要素分别是算法、算力和数据，但数据的现状并不理想，存在数据孤岛、数据分布不均的问题。为了解决数据方面的问题，有三种常见的解决方案：生成式对抗网络、迁移学习和联邦学习，此处重点讲解联邦学习。

联邦学习和传统的机器学习相比，传统的机器学习是模型不动、数据动；而联邦学习是数据不动、模型动。联邦学习又可细分横向联邦学习与纵向联邦学习，分别用于应对两种不同的数据孤岛情况。

数据孤岛情况 1: 样例分散在不同的组织，单个组织样例不足以支持优质训练，适用使用横向联邦学习。一个实际的案例是跨银行反洗钱应用，在符合法规情况下，组合各银行数据成大量实证案例，可以提高 AUC14%。

数据孤岛情况 2: 样本数据的特征分散在不同组织，单个组织有样本片面的理解，造成训练结果偏差，适合使用纵向联邦学习。一个实际的案例是小微企业信用风险管理，多元数据来源组合获得更准确的用户画像，可以提高 AUC12%。

FATE (Federated AI Technology Enabler) 是托管在 Linux Foundation 的开源的，面向生产的联邦学习平台。FATE 的架构完全开放，开源，欢迎社区同学在算法、架构、框架等方面参与 FATE 社区的开发。FATE 的 GitHub 地址：https://github.com/FederatedAI/FATE

由于机器学习是一个系统工程联邦学习需要与已有系统对接联邦学习需要管理功能：数据、权限等；且有架构和部署环境复杂的问题，分布式系统、分层结构，复杂的企业环境：安全、网络、遗留系统适配问题，引入人工智能的第四个要素——运维。

KubeFATE 是一个云原生联邦学习平台，具有可插拔、可扩展的特点。FATE-Operator 是 Kubeflow 官方子项目，是 Kubeflow 联邦学习方案。

两个项目的 Github 地址如下：

KubeFATE：https://github.com/FederatedAI/KubeFATE

FATE-Operator：https://github.com/kubeflow/fate-operator

要想了解云原生、机器学习和区块链等技术原理，请立即长按以下二维码，关注本公众号亨利笔记 （ henglibiji )，以免错过更新。