前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >KubeFATE v1.7和FATE v1.7 的特色功能介绍

KubeFATE v1.7和FATE v1.7 的特色功能介绍

作者头像
Henry Zhang
发布2022-01-18 18:37:43
5820
发布2022-01-18 18:37:43
举报
文章被收录于专栏:亨利笔记

FATE (Federated AI Technology Enabler)是全球首个联邦学习工业级开源框架,它提供一种基于数据隐私保护的安全计算框架,为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。

从 2019 年 2 月开源至今,FATE 已迭代了十余个版本,在金融、医疗等众多领域有了落地应用,汇聚了上千家企业、高校等科研机构的开发者。

KubeFATE 是运维联邦学习开源平台 FATE 的最佳工具。不久前,KubeFATE v1.7.0 正式发布,全面支持 FATE v1.7.0 。欢迎广大用户使用 KubeFATE 最新版本,并通过 Github 或微信群给我们反馈建议。

FATE v1.7.0 对原先 FATE 进行了全面升级,解决联邦学习技术平台之间互联互通问题,大幅优化了性能效率。而 KubeFATE v1.7.0 全面兼容最新的 FATE v1.7.0 。此外:

1. 更新了 KubeFATE 及 FATE 的 Ingress 部署方式,以支持 Kubernetes v1.22 以后的版本;

2. 更新了 Docker-compose 中的示例为最新的 DSL v2 版本;

3. 更新了所有 Jupyter Notebook示例代码;

4. 修改之前的代码 bugs,优化使用体验。

KubeFATE v1.7.0 的更新包括:

1. Docker-compose安装包 v1.7.0;

2. FATE v1.7.0 的 Chart;

3. FATE Exchange v1.7.0 的 Chart。

KubeFATE CLI 与 KubeFATE 后台服务不需要更新,可沿用v1.4.2(与KubeFATE v1.6.1同时发布),具体导入新的 v1.7.0 的chart,请参考文章:

https://github.com/FederatedAI/KubeFATE/blob/master/docs/Manage_FATE_and_FATE-Serving_Version.md#manage-charts-in-kubefate-manually

需要加入KubeFATE开源项目群的朋友,可以关注本公众号 亨利笔记 ,后台回复 kubefate 即可。

另外,FATE V1.7 为开发者带来多项重要更新:

■ 性能提升:横纵向联邦SecureBoost性能提升5倍+,千万级别样本训练支持;隐私保护求交(PSI)算法性能提升3倍+,不平衡场景下PSI性能提升10倍+以上;

■ 两方逻辑回归:新增纵向联邦逻辑回归算法,支持无可信第三方;

■ 横向通用模型转化:支持FATE的横向模型导出成主流引擎模型训练文件,可用于跨引擎的离线预测和在线推理;

■ 安全协议增强:新增同态加密和秘密分享混合协议;

■ 组件插件化:可同时部署多个版本算法组件包,运行时指定版本,支持热插拔;

■ 调度能力增强:checkpoint/warmstart、数据/模型复用、作业参数更新;

■ 多方异构引擎支持:简化Session API接口,移除workmode,backend参数,FATE计算,通信,存储引擎在部署时决定,更好的支持多方不同引擎设置;

■ 存储增强:新增LocalFS存储引擎,搭配Spark Local计算模式;

■ 仓库分离:1)新增FATE-Flow独立仓库,FATE-Flow代码从FATE主仓库剥离,增强产品迭代灵活性及扩展性;2)新增AnsibleFATE仓库,把FATE主仓库Ansible自动化部署部分独立管理。

https://github.com/FederatedAI/FATE

详细解读,可回顾FATE社区第14期圆桌会 | FATE V1.7内容介绍:点击此处

视频链接:

https://www.bilibili.com/video/BV1Br4y117Ss?spm_id_from=333.999.0.0

FATE技术架构

FATE 的底层是 Tensorflow / Pytorch(深度学习)、EggRoll /Spark(分布式计算框架)和多方联邦通信网络,上层为联邦安全协议,并在安全协议的基础上构建联邦学习算法库。围绕实际场景,FATE 在技术架构顶层构建了联邦区块链、联邦多云管理、联邦模型可视化平台、联邦建模 pipeline 调度、联邦在线推理等。

FATE 联邦算法组件已发展至 30 余个,实现工业界主流场景算法全覆盖和工业界主流多方安全计算协议全覆盖,涉及数据输入输出、纵向联邦统计、纵向联邦特征工程、纵向联邦学习算法、横向联邦学习算法、模型评估、安全计算等算法方案。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-12-28,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 亨利笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
联邦学习
联邦学习(Federated Learning,FELE)是一种打破数据孤岛、释放 AI 应用潜能的分布式机器学习技术,能够让联邦学习各参与方在不披露底层数据和底层数据加密(混淆)形态的前提下,通过交换加密的机器学习中间结果实现联合建模。该产品兼顾AI应用与隐私保护,开放合作,协同性高,充分释放大数据生产力,广泛适用于金融、消费互联网等行业的业务创新场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档