腾讯大数据团队在联邦学习和隐私保护技术上已经深耕多年，4月9日9点，腾讯大数据Angel PowerFL负责人程勇将会在第二届线上DataFunSummit：智能风控技术峰会上分享联邦学习技术与实践思考
本文聚焦腾讯自研的联邦学习平台Angel PowerFL中纵向联邦GBDT算法实现，介绍纵向联邦GBDT算法的原理和流程，并讲解相关的优化技术。...为了解决这种供需矛盾，腾讯自研的联邦学习平台Angel PowerFL（以下简称PowerFL）针对纵向联邦GBDT算法的瓶颈进行了一系列的分析与优化，并提出一种高效的纵向联邦GBDT算法实现。...优化3:计算加速技巧 除了对加密和解密进行优化，PowerFL对同态加法操作也进行了许多优化，包括以下几点： 高效的样本采样：除了传统的均匀采样算法，PowerFL还支持Gradient-based One...实验对比 在本章节，笔者对PowerFL中的纵向联邦GBDT实现进行性能测试，这里主要考量的是腾讯自研平台相比FATE的训练效率提升，以及纵向联邦训练与非联邦训练的模型精度比较，并在最后介绍PowerFL...数据集 PowerFL时间 FATE时间 PowerFL Loss FATE Loss XGBoost Loss XGBoost-Guest Loss census 12秒/树 214秒/树 0.365
01 背 景 Angel PowerFL联邦学习平台及其通信模块要求 Angel PowerFL联邦学习平台构建在Angel之上，利用AngelPS支持万亿级模型训练的能力，将很多在Worker上的计算提升到...Angel PowerFL联邦学习已经在金融云、广告联合建模等业务中开始落地，并取得初步的效果。...Angel PowerFL系统架构图如下： Angel PowerFL的学习任务在训练过程当中，参与方之间会有大量的加密数据通过通信模块传输，Angel PowerFL对通信模块有以下要求： 稳定可靠...02 基于Pulsar的Angel PowerFL通信模块实现 参与联邦学习的各个业务（Angel PowerFL称之为Party，每个Party有不同的ID，比方说 10000/20000），可能分布在同个公司的不同部门...Angel PowerFL支持多方联邦，意味着存在大于2个Pulsar集群开启了同步复制。
经过耗时1个月的细致、全方位测评，以腾讯Angel PowerFL为核心底座打造的腾讯云安全隐私计算产品，凭借卓越的综合能力，得到了CFCA的专业认可。...在此之前，Angel PowerFL也已通过了中国信通院的隐私计算产品测评与认证，并且屡获殊荣。...在2021中国国际大数据产业博览会上，Angel PowerFL荣获“领先科技成果奖——新技术”重磅奖项；在国际顶级隐私计算比赛iDASH 2020中，腾讯Angel PowerFL团队曾以出众成绩将冠军奖项收入囊中...而在实际业务应用中，Angel PowerFL也已经在金融风控、广告、智慧医疗、视频推荐等场景中展现出了巨大的生产价值。...未来，Angel PowerFL团队将持续投入，以需求驱动、寻求技术突破，同时携手腾讯云为企业/组织提供高效、可靠、易用的隐私计算落地方案。
2021领先科技成果奖-“新技术”： 腾讯AngelPowerFL安全联合计算平台 腾讯大数据Angel PowerFL平台负责人程勇表示:“非常荣幸能够得到数博会的认可,Angel PowerFL从2019...以金融风控场景来说,某大型金融服务机构基于Angel PowerFL平台,在原始数据不出本地的情况下,联合多方数据源构建了一个信贷风控模型。...Angel PowerFL安全联合计算平台,能够为用户提供领先的隐私计算能力。...Angel PowerFL技术架构图 基于在大数据、机器学习、分布式、安全加密等技术领域的研发经验和技术积累,腾讯大数据Angel PowerFL团队得到了行业的广泛认可,并屡获殊荣。...包括在国际顶级隐私计算比赛iDASH 2020中,Angel PowerFL团队更是以优异的成绩斩获冠军,技术实力得到充分印证。
12月9日，2022年iDASH国际隐私计算大赛结果正式公布，腾讯Angel PowerFL联队凭借最优的模型效果和较快的推理速度获得最高综合得分，斩获同态加密赛道冠军。...同时，在多方安全计算（MPC）赛道和可信计算（SGX）赛道上，腾讯Angel PowerFL联队也分别取得了第二和第三的好成绩。 历年来，同态加密赛道一直是iDASH比赛中最受关注和角逐最激烈的赛道。...针对五个预测任务，腾讯Angel PowerFL联队在iDASH公开的数据集上分别训练了三个线性回归模型和两个逻辑回归模型，获得了接近满分的模型效果指标。...腾讯Angel PowerFL提出了多个创新性的解决方案，并最终在安全模型推理结果和推理速度上获得最高综合得分。...今年的腾讯Angel PowerFL联队汇聚了来自腾讯大数据、腾讯安全、腾讯计费、腾讯云、腾讯广告AI、华中科技大学的密码学、隐私计算、大数据和机器学习领域的技术专家。
腾讯云作为主要参编单位之一，在该报告中输入腾讯云数链通平台、腾讯云安全隐私计算平台、腾讯云联邦学习平台、腾讯Angel PowerFL隐私计算框架等多项产品平台和应用案例。...该研究报告在正文案例及附录中对腾讯云等多家厂商的多款隐私计算技术平台产品进行了介绍，其中包括腾讯云数链通平台、腾讯Angel PowerFL隐私计算平台、腾讯云安全隐私计算平台、腾讯云联邦学习平台。...腾讯云数链通平台的技术架构，如下图所示： 腾讯Angel PowerFL隐私计算平台 腾讯Angel PowerFL（简称PowerFL）隐私计算框架兼顾了业界的高可用性和学界的创新性，同时支持联邦建模与联合数据分析...在性能方面，依托腾讯Angel机器学习平台的海量数据处理能力，PowerFL支持千亿级别的海量数据计算，通过异步高并发计算、通信消息压缩、硬件加速等多种技术创新来提高计算和通信效率。...Angel PowerFL隐私计算框架的技术架构图，如下图所示： 腾讯云安全隐私计算平台 腾讯云安全隐私计算（Cloud Security Privacy Computing，CSPC）是腾讯云推出的以联邦学习
7 月 9 日，13:30 - 17:15，腾讯大数据联合DataFun举办的《数据安全与隐私计算峰会》将会在视频号开启直播，由腾讯 Angel PowerFL 隐私计算平台负责人程勇老师出品的「广告推荐与隐私计算论坛...出品人：程勇 腾讯 Angel PowerFL 隐私计算平台负责人 腾讯 Angel PowerFL 隐私计算平台负责人，中国专利审查技术专家，主要研究方向包括深度学习、联邦学习、分布式计算、应用密码学
去年，腾讯 Angel PowerFL 安全联合计算平台还获得了 iDash 2020 世界隐私计算大赛冠军。...在论坛中，腾讯数据平台部 AI 平台总监陶阳宇详细阐述了 Angel PowerFL 平台的三大特点： 首先，Angel PowerFL 支持 3072bit 高强度的加密和 TEE 硬件双保险，远超金融领域...其次，Angel PowerFL 支持千亿级规模的海量数据训练，性能参数领先业界 5 倍。...此外，Angel PowerFL 还支持从多种数据源拉取数据，包括 Ceph，COS，HDFS 等。...陶阳宇表示，Angel PowerFL 下一步演化的方向重点仍放在改进它的易用性。
1月28日，iDASH-2021国际隐私计算大赛结果正式公布，腾讯云Angel PowerFL和腾讯安全联合项目团队提交的方案，凭借领先的模型准确率和最快的推理速度获得差分隐私赛道冠军。...腾讯云Angel PowerFL和腾讯安全联合团队提交的技术方案在合理的时间内完成了满足差分隐私要求的两方联邦学习模型训练，获得了领先的模型准确率，且具有最快的模型推理速度。...“腾讯团队” 据了解，腾讯Angel PowerFL团队是国内较早开展联邦学习研究和应用的团队，在大数据、分布式计算、分布式机器学习、分布式消息中间件、安全多方计算、密码学等领域都有丰富的研发和应用经验...腾讯云安全隐私计算平台Angel PowerFL源于腾讯的大数据和安全技术生态，支持超大规模数据量的多方联合建模和联合统计分析，拥有高性能和高容错性，且不依赖于可信中心节点，目前已经在腾讯内外部众多业务场景中落地应用
去年，腾讯 Angel PowerFL 安全联合计算平台还获得了 iDash 2020 世界隐私计算大赛冠军。 ?...在论坛中，腾讯数据平台部 AI 平台总监陶阳宇详细阐述了 Angel PowerFL 平台的三大特点： 首先，Angel PowerFL 支持 3072bit 高强度的加密和 TEE 硬件双保险，远超金融领域...其次，Angel PowerFL 支持千亿级规模的海量数据训练，性能参数领先业界 5 倍。...此外，Angel PowerFL 还支持从多种数据源拉取数据，包括 Ceph，COS，HDFS 等。...陶阳宇表示，Angel PowerFL 下一步演化的方向重点仍放在改进它的易用性。
PowerFL的平台框架介绍 PowerFL的部署视图及关键组件 PowerFL的网络拓扑 快速部署PowerFL 准备k8s集群 准备Yarn集群（可选） 准备安装客户端 一键部署PowerFL 通过...实现了各种常见的同态加密、对称和非对称加密算法（包括Paillier、RSA非对称加密等算法）；2）分布式计算：基于Spark on Angel的高性能分布式机器学习框架，通过PowerFL可以轻松实现各种高效的分布式联邦学习算法...计算任务实际上由服务层的任务节点发起并向YARN集群申请资源运行PowerFL的联邦算子，基于Spark on Angel的计算框架，保证了算法的高度并行和优异性能。...快速部署PowerFL 在整体了解完PowerFL的平台框架、部署视图以及网络拓扑结构后，以下将介绍如何快速部署PowerFL，正如上述提到的，PowerFL分成服务层组件和计算层，分别构建在k8s集群和...，基于Spark on Angel来实现联邦任务的高性能分布式计算。
博思数采科技发展有限公司的 CTO 牛京杰在节目中谈到，在两年前，公司从数据库到产品开发框架一直在使用国外的开源软件，在 Angel 开源后，将业务全部转为使用 Angel 系统，并和腾讯一起开发了“...2017年 Angel 正式对外开源，成为腾讯第一个 AI 开源项目。但随后却有很多用户提issue（议题），表示 Angel 在他们的系统环境中跑不下来，“当时有一些小小的失望。”肖品说。...腾讯大数据专家工程师程勇及其同事目前正在研发的 Angel PowerFL 联邦学习平台，就是基于 Angel 开发的下一代大数据平台，该平台的目的是为了在保障数据安全的同时提升数据应用价值。...程勇介绍道：“在性能方面， Angel PowerFL 支持千亿级别的海量数据计算，通过多种技术突破来提高计算和通信效率，并且已经在金融、医疗、政务、教育等多个行业应用落地。”...这意味着 Angel 获得了世界级的认可，据了解，目前包括华为、小米等在内，有超过100家公司和机构的开发者和用户参与了 Angel 的开源生态建设。
天级别的计算任务数据处理平台； 2012年前后，第二代大数据平台通过引入Spark、Storm等实时计算处理框架，让处理性能迈入毫秒级别； 2015年，第三代大数据平台朝着机器学习方向发展，其自研机器学习框架Angel...作为第四代数智融合计算平台的重要组成部分，腾讯Angel PowerFL安全联合计算平台也颇受瞩目。...Angel PowerFL拥有全栈的联邦机器学习和深度学习功能，可以提供多种隐私保护机制，在不同的应用场景里为用户提供差异化的安全保护级别。 在跨机构的隐私计算场景里，跨公网通信是隐私计算系统的瓶颈。...为了解决这一问题，Angel PowerFL平台采用消息队列（MQ）作为通信通道，借助MQ模块的拥塞控制和消息持久化功能，可以进一步增强系统稳定性。...作为腾讯云数据安全网络（DSN）底层引擎，Angel PowerFL堪称金融级安全强度的隐私计算平台，在智慧医疗、金融风控、数字政务、推荐广告等领域已赢得众多客户的认可——在腾讯大数据高峰论坛上，来自民生银行
有的，Angel PowerFL，腾讯借此之际，还正式推出了这款安全联合计算平台。 ?...据了解，Angel PowerFL拥有全栈的联邦学习和深度学习功能： 支持多方联邦逻辑回归、XGBoost、PCA、用户自定义神经网络模型，支持多方联邦模型在线serving和模型管理，支持联合数据分析...在隐私保护方面，Angel PowerFL提供了多种机制的选择，包括同态加密、秘密分享、差分隐私、可信执行环境（如SGX）等。 在不同场景下，可以有针对性地选择不同的安全保护级别。...在迭代和部署方面，Angel PowerFL采用的是“计算层和服务层分离”的方式。 这样做的目的也为了更好地支持多种方式部署、灵活资源扩缩容。...与此同时，自研机器学习框架Angel，也成为国内第一个从Linux基金会“毕业”的AI项目。 而到了2020年，腾讯大数据有了新的思考。
两大技术底座 腾讯Angel PowerFL隐私计算平台 腾讯自研的Angel PowerFL（简称PowerFL）隐私计算平台是通用型联邦学习平台，助力实现多方数据协同应用和联合机器学习，通过结合分布式计算与密码学...、多方安全计算、秘密分享、差分隐私等隐私保护技术，PowerFL既可以保障数据安全和用户隐私，又能够挖掘多方数据协同应用带来的价值。...PowerFL隐私计算框架兼顾了业界的高可用性和学界的创新性，同时支持联邦建模与联合数据分析，并已在智慧金融、数字政务、数字公益、数字广告、精准推荐等多个领域应用落地。...PowerFL以底层计算框架的方式与腾讯云产品结合，面向企业联合建模的需求场景，推出了腾讯云隐私计算平台型产品。...基于PowerFL的隐私计算应用实践，充分证明了联邦学习的实际可应用性，为跨行业数据协同和AI应用落地开辟了新的思路。
另外，针对海量数据应用场景，产品基于Angel PowerFL框架进行分布式运算，实测性能优于平均值8倍以上，在参评产品中取得了最优性能评测表现。...由于金融、政务等各种场景对联合风控、联合统计、隐匿查询的强烈述求，今年初我们将神盾联邦计算升级为腾讯云安全隐私计算，产品基于腾讯 Angel PowerFL 隐私计算框架，以联邦学习（FL）、安全多方计算
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
