FATE v 1.10重磅发布：开发易用性显著提升，硬件指令集加速集成

题图摄于广州花城广场

在中国开源软件推进联盟发布的《2022中国开源发展白皮书》中，提到开源框架正在成为降低企业技术研发成本，打破“计算孤岛”，实现跨平台互联互通，推动数据要素流通重要且有效的途径。FATE  (Federated AI Technology Enabler）是其中典型代表，作为全球首个联邦学习工业级开源框架，它提供一种基于数据隐私保护的安全计算框架，为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。

早在今年8月，FATE已经作为最新孵化级项目加入了LF AI & Data基金会，与基金会的其他项目一道共同推动人工智能和数据开源项目的可持续生态建设。根据LF AI&DATA数据显示，2019年以来，FATE开源项目贡献者增加了377%，总提交数量增长494.92%。

另外据统计，截止到2022年底，FATE开源社区覆盖全球超过1200家知名企业与400家高校，同时在GitHub代码仓库中Stars数量达4700，Fork数量达1400，已经成为联邦学习领域最大的技术开源社区。

FATE及社区的高速发展，是在“开源开放、共力创新”愿景指引下，在开发专委会协同4000+开发者群力群策、以及各成员单位共同建设下实现的。

FATE开源项目已经迭代30余个版本，联邦算法组件发展至30余个，实现了工业场景算法与主流安全计算协议全覆盖，其先发优势、技术积淀及应用广度，得到产学研用各界的实际验证与一致认可。在近日，FATE / KubeFATE v1.10版本也正式上线发布，这已经是2022年第三次升级迭代。用户可访问以下网址获取 v1.10的发布版：

FATE: https://github.com/FederatedAI/FATE/releases/tag/v1.10.0

KubeFATE: https://github.com/FederatedAI/KubeFATE/releases/tag/v1.10.0

与此同时FATE 2.0版本将顺应开源开放的形势，推进隐私平台互联互通的能力，提供灵活集成和标准接口的能力，促进异构平台实现互操作性。FATE 2.0 Alpha版本计划2023年1月份推出，正式版预计2023年第2季度发布，欢迎用户使用和在互联互通方面的合作。对互联互通感兴趣的用户和开发者也可参加FATE开发专委会定期的社区例会，参与相关功能的讨论和实施工作。

1

FATE v1.10版本亮点概述

本次发布的FATE v1.10版本，开发易用性显著提升，硬件指令集加速集成。总体上FATE在功能、性能、生产完备、互联互通等多方面有完善和提升.其中亮点为以下四点：

• 重构横向和纵向神经网络联邦框架，支持用户自定义神经网络和自定义数据集，降低深度学习算法接入联邦机制的开发成本
• 集成英特尔IPCL Paillier加密库，支持英特尔处理器最新AVX512/IFMA指令集实现加速
• 新增联邦半监督学习PU-Learning算法 
• KubeFATE增加对FATE-Flow的依赖分发、高可用等功能的支持

2

各模块新版本特色功能一览

此次，推出的FATE v1.10版本，对FATE进行了全面升级，开发易用性显著提升，硬件指令集加速集成。此外，新版本对其他FederatedML、KubeFATE、Fate-Flow、Fate-Board等多个模块都进行了更新及改进，各模块改进点如下：

FederatedML

🔹横向神经网络基于Pytorch进行全面升级与重构, 支持灵活的模型定制:

• 支持对复杂训练模型的定制，可直接使用业界主流pytorch模型, 如DeepFM、ResNet、BERT、yolo等
• 支持多种数据集，可基于pytorch Dataset进行数据集定制化
• 支持对训练Loss的自定义
• 支持对整个训练流程的定制化：用户可自行开发client端流程代码与server端聚合逻辑
• 提供接口支持Aggregator的开发

🔹纵向联邦神经网络升级，支持定制化模型以及使用多类型数据集:

• 支持对top, bottom模型更复杂的定制化需求，可直接使用各类pytorch模型
• 支持对训练Loss的自定义
• 支持多种数据集，可基于pytorch Dataset进行数据集定制化

🔹横向联邦框架重构升级，适配横向所有算法，更易于开发和定制化算法

🔹新增联邦半监督学习PU-Learning算法

🔹集成Intel IPCL同态加密加速库，支持在纵向联邦逻辑回归以及纵向联邦SecureBoost上使用

🔹支持基于椭圆曲线的多方安全求交方案

🔹支持多方安全计算交集基数的方案

🔹纵向联邦特征分箱支持展示最优分箱gini、ks、卡方指标

🔹纵向联邦特征分箱支持host方通过model loader加载自定义WOE分箱模型

🔹纵向联邦特征分箱支持通过参数配置指定分箱点

🔹采样组件支持指定列权重进行采样

KubeFATE

🔹支持FATE v1.10.0， FATE-Serving v2.1.6的安装部署

🔹支持为FATE-Flow启用依赖分发（dependent_distribution）功能，以更好地适配外部Spark集群

🔹支持为部署的Jupyter Notebook设置访问密码以增强安全性

🔹更好的支持管理由KubeFATE部署的StatefulSet资源

🔹添加更灵活的配置选项以更好的支持和引入外部Pulsar引擎支持

🔹支持FATE-Flow的高可用模式

🔹解决了定义储存时existingClaim在nodemanager组件上可能失效的问题

🔹解决了若干其他已知Bug

FATE-Flow

🔹新增连通性检测接口

🔹grpc传输数据量限制可配置化

🔹修复model deploy按需复制组件问题

FATE-Board

🔹sbt树状图叶子节点分流数据展示

🔹sample组件新模式数据展示支持

🔹新增半监督学习组件展示支持

🔹binning组件最优分箱表格数据展示优化

🔹针对模型数据请求进行优化过滤

🔹样式库优化调整

🔹日志展示高度适配优化

FATE-Client

🔹flow cli集成最小化测试用例

🔹pipeline支持data bind接口，方便用户本地开发调试

🔹pipeline支持预测任务重设role和model_id\model_version参数，支持集群party_id变更后的预测使用场景

FedLCM

根据社区的反馈，v0.2版本的FedLCM中新增了多个重大功能。其中，图形化建模与管理服务Site Portal从这个版本开始可以单独通过docker-compose部署和运行，不再仅能通过Lifecycle Manager来在Kubernetes上部署，并且在v0.2版本中加入了纵向联邦学习的支持。另一方面，生命周期管理服务Lifecycle Manager中对Site Portal的支持进一步增强，同时缩减了操作Kubernetes所需的权限要求，使用典型的仅Namespace的操作权限即可部署KubeFATE和FATE。除此之外，v0.2版本的FedLCM还包括了如下的更新，来进一步方便用户以图形化的方式部署FATE系统和FATE联邦任务，欢迎社区用户使用并提供进一步的反馈。

Lifecycle Manager服务新增了如下功能：

🔹支持部署1.9版本的KubeFATE、FATE和FATE Exchange；

🔹自动配置由其部署的Site Portal服务与FML Manager服务的TLS链接；

🔹支持使用某个或某几个namspace的管理权限来操作Kubernetes；

🔹在部署FATE系统时可以指定使用外部已存在的基础引擎服务；

🔹当FedLCM本身运行在Kubernetes上时，不用显示指定kubeconfig即可管理当前集群。

Site Portal服务新增了如下功能：

🔹Site Portal可以直接通过docker-compose单独部署使用，而不需要必须通过LCM服务部署；

🔹可以与使用Spark或Eggroll等不同基础引擎的FATE系统集成；

🔹可使用纵向联邦学习的HeteroLR和HeteroSBT来发起训练任务和预测任务；

🔹可以纳管已存在于FATE系统的存储引擎Table；

🔹支持将Site Portal从FML Manager和整个联邦中注销。

欢迎更多的用户和开发者加入FATE开源社区，开源社区的精神在于协作与共赢，社区成员不仅能够获得项目发展带来的成果，也可以通过参与项目贡献回馈社区，形成良性循环，推动整个社区的健康发展。

3

参与FATE开源社区

FATE开源社区是一个开放、平等、包容的学习社区，在这里你不仅可以从众多贡献者处获得技术帮助，还可以通过技术贡献的方式丰富社区资源并帮助其他用户。FATE开源社区欢迎更多开发者和用户加入社区建设并提出反馈意见！

建议关注FATE开源社区的公众号，并加入开源社区用户组：

https://groups.io/g/Fate-FedAI 

欢迎加入FATE联邦学习官方交流群，添加FATE小助手微信号（FATEZS001）即可。

【github直达】：阅读原文或复制链接https://github.com/FederatedAI/FATE即可，点击star，方便下次使用。