首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

解密Angel PowerFL联邦学习平台中的纵向GBDT算法

本文聚焦腾讯自研的联邦学习平台Angel PowerFL中纵向联邦GBDT算法实现,介绍纵向联邦GBDT算法的原理和流程,并讲解相关的优化技术。...为了解决这种供需矛盾,腾讯自研的联邦学习平台Angel PowerFL(以下简称PowerFL)针对纵向联邦GBDT算法的瓶颈进行了一系列的分析与优化,并提出一种高效的纵向联邦GBDT算法实现。...优化3:计算加速技巧 除了对加密和解密进行优化,PowerFL对同态加法操作也进行了许多优化,包括以下几点: 高效的样本采样:除了传统的均匀采样算法,PowerFL还支持Gradient-based One...实验对比 在本章节,笔者对PowerFL中的纵向联邦GBDT实现进行性能测试,这里主要考量的是腾讯自研平台相比FATE的训练效率提升,以及纵向联邦训练与非联邦训练的模型精度比较,并在最后介绍PowerFL...数据集 PowerFL时间 FATE时间 PowerFL Loss FATE Loss XGBoost Loss XGBoost-Guest Loss census 12秒/树 214秒/树 0.365

4.1K50

助力联邦——­Pulsar在Angel PowerFL联邦学习平台中的应用

01 背  景 Angel PowerFL联邦学习平台及其通信模块要求 Angel PowerFL联邦学习平台构建在Angel之上,利用Angel­PS支持万亿级模型训练的能力,将很多在Worker上的计算提升到...Angel PowerFL联邦学习已经在金融云、广告联合建模等业务中开始落地,并取得初步的效果。...Angel PowerFL系统架构图如下: Angel PowerFL的学习任务在训练过程当中,参与方之间会有大量的加密数据通过通信模块传输,Angel PowerFL对通信模块有以下要求: 稳定可靠...02 基于Pulsar的Angel PowerFL通信模块实现 参与联邦学习的各个业务(Angel PowerFL称之为Party,每个Party有不同的ID,比方说 10000/20000),可能分布在同个公司的不同部门...Angel PowerFL支持多方联邦,意味着存在大于2个Pulsar集群开启了同步复制。

1.2K41

基于Angel PowerFL的腾讯云安全隐私计算产品通过 CFCA 评测

经过耗时1个月的细致、全方位测评,以腾讯Angel PowerFL为核心底座打造的腾讯云安全隐私计算产品,凭借卓越的综合能力,得到了CFCA的专业认可。...在此之前,Angel PowerFL也已通过了中国信通院的隐私计算产品测评与认证,并且屡获殊荣。...在2021中国国际大数据产业博览会上,Angel PowerFL荣获“领先科技成果奖——新技术”重磅奖项;在国际顶级隐私计算比赛iDASH 2020中,腾讯Angel PowerFL团队曾以出众成绩将冠军奖项收入囊中...而在实际业务应用中,Angel PowerFL也已经在金融风控、广告、智慧医疗、视频推荐等场景中展现出了巨大的生产价值。...未来,Angel PowerFL团队将持续投入,以需求驱动、寻求技术突破,同时携手腾讯云为企业/组织提供高效、可靠、易用的隐私计算落地方案。

74920

腾讯Angel PowerFL荣获2021数博会“领先科技成果奖”

2021领先科技成果奖-“新技术”: 腾讯AngelPowerFL安全联合计算平台 腾讯大数据Angel PowerFL平台负责人程勇表示:“非常荣幸能够得到数博会的认可,Angel PowerFL从2019...以金融风控场景来说,某大型金融服务机构基于Angel PowerFL平台,在原始数据不出本地的情况下,联合多方数据源构建了一个信贷风控模型。...Angel PowerFL安全联合计算平台,能够为用户提供领先的隐私计算能力。...Angel PowerFL技术架构图 基于在大数据、机器学习、分布式、安全加密等技术领域的研发经验和技术积累,腾讯大数据Angel PowerFL团队得到了行业的广泛认可,并屡获殊荣。...包括在国际顶级隐私计算比赛iDASH 2020中,Angel PowerFL团队更是以优异的成绩斩获冠军,技术实力得到充分印证。

84260

腾讯Angel PowerFL联队斩获iDASH-2022隐私计算大赛同态加密赛道冠军

12月9日,2022年iDASH国际隐私计算大赛结果正式公布,腾讯Angel PowerFL联队凭借最优的模型效果和较快的推理速度获得最高综合得分,斩获同态加密赛道冠军。...同时,在多方安全计算(MPC)赛道和可信计算(SGX)赛道上,腾讯Angel PowerFL联队也分别取得了第二和第三的好成绩。 历年来,同态加密赛道一直是iDASH比赛中最受关注和角逐最激烈的赛道。...针对五个预测任务,腾讯Angel PowerFL联队在iDASH公开的数据集上分别训练了三个线性回归模型和两个逻辑回归模型,获得了接近满分的模型效果指标。...腾讯Angel PowerFL提出了多个创新性的解决方案,并最终在安全模型推理结果和推理速度上获得最高综合得分。...今年的腾讯Angel PowerFL联队汇聚了来自腾讯大数据、腾讯安全、腾讯计费、腾讯云、腾讯广告AI、华中科技大学的密码学、隐私计算、大数据和机器学习领域的技术专家。

73540

腾讯云参编的隐私计算报告发布,加快释放数据要素潜能

腾讯云作为主要参编单位之一,在该报告中输入腾讯云数链通平台、腾讯云安全隐私计算平台、腾讯云联邦学习平台、腾讯Angel PowerFL隐私计算框架等多项产品平台和应用案例。...该研究报告在正文案例及附录中对腾讯云等多家厂商的多款隐私计算技术平台产品进行了介绍,其中包括腾讯云数链通平台、腾讯Angel PowerFL隐私计算平台、腾讯云安全隐私计算平台、腾讯云联邦学习平台。...腾讯云数链通平台的技术架构,如下图所示: 腾讯Angel PowerFL隐私计算平台 腾讯Angel PowerFL(简称PowerFL)隐私计算框架兼顾了业界的高可用性和学界的创新性,同时支持联邦建模与联合数据分析...在性能方面,依托腾讯Angel机器学习平台的海量数据处理能力,PowerFL支持千亿级别的海量数据计算,通过异步高并发计算、通信消息压缩、硬件加速等多种技术创新来提高计算和通信效率。...Angel PowerFL隐私计算框架的技术架构图,如下图所示: 腾讯云安全隐私计算平台 腾讯云安全隐私计算(Cloud Security Privacy Computing,CSPC)是腾讯云推出的以联邦学习

72430

腾讯Angel PowerFL联合项目团队斩获iDASH-2021国际隐私计算大赛差分隐私赛道冠军

1月28日,iDASH-2021国际隐私计算大赛结果正式公布,腾讯云Angel PowerFL和腾讯安全联合项目团队提交的方案,凭借领先的模型准确率和最快的推理速度获得差分隐私赛道冠军。...腾讯云Angel PowerFL和腾讯安全联合团队提交的技术方案在合理的时间内完成了满足差分隐私要求的两方联邦学习模型训练,获得了领先的模型准确率,且具有最快的模型推理速度。...“腾讯团队” 据了解,腾讯Angel PowerFL团队是国内较早开展联邦学习研究和应用的团队,在大数据、分布式计算、分布式机器学习、分布式消息中间件、安全多方计算、密码学等领域都有丰富的研发和应用经验...腾讯云安全隐私计算平台Angel PowerFL源于腾讯的大数据和安全技术生态,支持超大规模数据量的多方联合建模和联合统计分析,拥有高性能和高容错性,且不依赖于可信中心节点,目前已经在腾讯内外部众多业务场景中落地应用

46820

腾讯Angel PowerFL联合项目团队斩获iDASH-2021国际隐私计算大赛差分隐私赛道冠军

1月28日,iDASH-2021国际隐私计算大赛结果正式公布,腾讯云Angel PowerFL和腾讯安全联合项目团队提交的方案,凭借领先的模型准确率和最快的推理速度获得差分隐私赛道冠军。...腾讯云Angel PowerFL和腾讯安全联合团队提交的技术方案在合理的时间内完成了满足差分隐私要求的两方联邦学习模型训练,获得了领先的模型准确率,且具有最快的模型推理速度。...“腾讯团队” 据了解,腾讯Angel PowerFL团队是国内较早开展联邦学习研究和应用的团队,在大数据、分布式计算、分布式机器学习、分布式消息中间件、安全多方计算、密码学等领域都有丰富的研发和应用经验...腾讯云安全隐私计算平台Angel PowerFL源于腾讯的大数据和安全技术生态,支持超大规模数据量的多方联合建模和联合统计分析,拥有高性能和高容错性,且不依赖于可信中心节点,目前已经在腾讯内外部众多业务场景中落地应用

26230

快速上手联邦学习——腾讯自研联邦学习平台PowerFL实战

PowerFL的平台框架介绍 PowerFL的部署视图及关键组件 PowerFL的网络拓扑 快速部署PowerFL 准备k8s集群 准备Yarn集群(可选) 准备安装客户端 一键部署PowerFL 通过...实现了各种常见的同态加密、对称和非对称加密算法(包括Paillier、RSA非对称加密等算法);2)分布式计算:基于Spark on Angel的高性能分布式机器学习框架,通过PowerFL可以轻松实现各种高效的分布式联邦学习算法...计算任务实际上由服务层的任务节点发起并向YARN集群申请资源运行PowerFL的联邦算子,基于Spark on Angel的计算框架,保证了算法的高度并行和优异性能。...快速部署PowerFL 在整体了解完PowerFL的平台框架、部署视图以及网络拓扑结构后,以下将介绍如何快速部署PowerFL,正如上述提到的,PowerFL分成服务层组件和计算层,分别构建在k8s集群和...,基于Spark on Angel来实现联邦任务的高性能分布式计算。

3.5K52
领券