腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

324

文章

455722

阅读量

124

订阅数

8大技术论坛，21场主题分享，大牛齐聚邀你看直播！

机器学习大数据产品实践腾讯

随着《腾讯大数据构建之道》著作的出版，腾讯大数据首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。为了将腾讯大数据十余年发展的经验沉淀和最新的前沿技术实践回馈给行业和用户，腾讯大数据准备搞大事啦！ 4月17日，腾讯大数据联合机械工业出版社举办的十年一剑·数擎未来《腾讯大数据构建之道》专题技术沙龙就要正式开始直播啦！本次专题技术沙龙将由腾讯28位业务专家围绕《腾讯大数据构建之道》带来云原生大数据、大数据采集、大数据计算引擎、实时湖仓一体化、大数据与机器学习、大数据治理、大数据平台产品、大数据平

腾讯大数据

2023-04-19

2900

十年磨一剑 | 《腾讯大数据构建之道》正式出版

大数据 sql 机器学习神经网络深度学习

近日，在刚刚出版的《腾讯大数据构建之道》新书中，腾讯首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。作为国内大数据领域的一部前沿技术著作，该书汇集了腾讯在大数据领域几十位技术专家的思考和实战精髓，通过全面剖析自身在大数据领域的探索以及落地，为国内大数据从业者提供了一份极具价值的参考文献。腾讯公司副总裁蒋杰表示：“从第一代的离线计算到以隐私计算、数智融合、云原生为代表的第四代大数据技术，腾讯大数据团队不断基于内部海量业务实践，打造领先的技术和产品服务内外部众多客户。未来，腾讯还将通过腾讯云持续开

腾讯大数据

2022-09-02

6500

天穹SuperSQL：腾讯下一代大数据自适应计算引擎

sql 任务调度大数据数据分析机器学习

导语 SuperSQL是腾讯自研的下一代大数据自适应计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能调度纳入内部系统闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。 SuperSQL作为腾讯大数据智能计算平台的入口和决策中心，整合不同的大数

腾讯大数据

2022-08-26

4K0

腾讯Angel PowerFL联合项目团队斩获iDASH-2021国际隐私计算大赛差分隐私赛道冠军

隐私计算联邦学习 angel 机器学习大数据

1月28日，iDASH-2021国际隐私计算大赛结果正式公布，腾讯云Angel PowerFL和腾讯安全联合项目团队提交的方案，凭借领先的模型准确率和最快的推理速度获得差分隐私赛道冠军。在2020年的iDASH可信计算赛道上，腾讯云也斩获冠军，成为中国企业届首次在可信计算（SGX）赛道上夺冠的技术团队。 “IDASH赛事” iDASH比赛是隐私计算国际最权威的比赛，已经举办八届，是由美国国立卫生研究院 (NIH) 主办，专注于云环境下的隐私计算问题和面向隐私保护的机器学习问题，已成为全球基因组数据隐私保护和

腾讯大数据

2022-02-08

4540

腾讯北大合作的稀疏大模型训练加速方案HET入选国际顶会VLDB

缓存 angel 深度学习机器学习神经网络

近日，腾讯TEG数据平台部机器学习团队与北京大学-腾讯协同创新实验室，合作研发了全新的稀疏大模型训练加速解决方案HET，其研究成果《HET: Scaling out Huge Embedding Model Training via Cache-enabled Distributed Framework》已被国际顶会VLDB 2022录用。HET提出了一种新颖的基于Embedding缓存的训练方法，能够显著降低稀疏大模型分布式训练时通信开销，提升模型训练整体效率。 HET目前已正式开源： https://

腾讯大数据

2021-11-19

6110

联邦学习在腾讯微视广告投放中的实践

联邦学习迁移学习特征工程机器学习神经网络

分享人：宋凯博士整理者：林宜蓁导读: 本文从广告主的角度，分享联邦学习实践的经验跟思考。先介绍业务与技术选型背景：团队项目为用户增长及成本控制，方式为广告渠道投放，投放目标分为拉新、拉活两类。拉新时，微视侧端内用户特征稀疏，而广告平台积累大量信息，但仅有有限性的oCPX标准化数据回传。拉活时，微视侧具备用户行为序列等宝贵画像数据，与广告平台特征有互补性，但又无法直接粗暴的与广告平台共享数据。所以，希望微视侧能与广告平台侧利用双方数据，实现收益共赢，但保证数据的安全不出域。在这种背景下我

腾讯大数据

2021-09-06

2.2K0

多篇论文被顶会收录，腾讯广告推荐团队AI实力获国际认可

数据挖掘人脸识别机器学习神经网络深度学习

导读/ Introduction 近期，国际机器学习大会(ICML)、国际数据挖掘与知识发现大会(KDD)、国际计算机协会信息检索大会(SIGIR)等机器学习、数据挖掘与信息检索领域的国际顶级学术会议分别公布了论文录用结果，腾讯广告推荐团队的4篇论文被接收，涵盖神经网络模型剪枝、人脸识别、智能广告竞价、广告转化率预测等研究方向，研究成果获得国际权威认可。腾讯广告推荐团队基于腾讯广告多流量(微信、QQ、新闻、视频、以及外部优量汇联盟等)，多行业(游戏，电商，教育，金融)，多模态(图片，视频，短视频)的

腾讯大数据

2021-08-17

7030

Angel 3.2.0新版本出炉！图计算能力再次加强

编程算法 angel 数据结构机器学习神经网络

Angel项目的3.2.0版本发布啦！ Angel是腾讯首个AI开源项目，经过多个版本迭代，于2019年在Linux基金会顺利毕业。作为面向机器学习的第三代高性能计算平台，Angel提供了全栈的机器学习能力，并致力于解决高维稀疏大模型训练以及大规模分布式图计算的问题。在3.1.0的版本中，Angel首次引入了图计算能力，提供了大量开箱即用的图算法，得到了业界广泛的关注和使用。本次版本发布，Angel继续加强了图计算的能力，相较于上个版本，我们做了很多优化并提供了一些新的特性，感兴趣的话就赶紧下载体验

腾讯大数据

2021-08-04

5990

产学研合作新标杆：腾讯大数据开源项目Angel获央视点赞

angel 大数据开源 github 机器学习

导读 / Introduction 5月10日，中央广播电视总台《经济半小时》栏目播出《软件开源里的中国声音》特别节目，点赞了腾讯工程师们在技术开放和软件开源上所做的努力。目前腾讯已经开源了120+个项目，有数千位贡献者， Star 数超过35万，开源贡献居于全球前列。作为腾讯的明星开源项目，Angel机器学习平台能够支持万亿级维度的机器学习全流程开发，广泛接入了大数据和AI生态，如Spark、Pytorch等，大幅降低了海量数据规模下的机器学习开发门槛。点击观看视频：此次节目中重点介绍的就是

腾讯大数据

2021-05-13

8440

「腾讯大数据-天工」问世，鹅厂想用AI给大数据平台做自动驾驶系统

angel 机器学习联邦学习大数据数据分析

十年演进，腾讯大数据第四代数智融合计算平台「天工」终于问世，它有什么过人之处？本文转载自：机器之心作者：蛋酱上世纪 80 年代，姚期智教授曾在一篇文章中提出了「百万富翁设想」：如果两个百万富翁在街头相遇，在出于隐私考虑不列举自己所有财产的前提下，他们如何比较出谁更富有？这是一个密码学领域的经典问题，即一组互不信任的参与方在保护隐私信息以及没有可信第三方的前提下如何进行协同计算。随着信息技术的快速发展和个性化服务的演进，用户个人信息的跨境、跨系统、跨生态圈交互日益频繁，随之产生的隐私信息保护短板效应

腾讯大数据

2021-05-06

8860

引领大数据计算进入下一时代，腾讯大数据第四代数智融合计算平台正式发布！

大数据隐私计算机器学习数据安全

导读 / Introduction 4月18日，在 “腾讯大数据高峰论坛”上，腾讯正式发布自研第四代数智融合计算平台“腾讯大数据-天工”，该平台以最新的“数据协同、技术互通、平台大脑”技术理念为基础，在确保数据安全这一重要前提下，真正实现万亿级数据分析无人“自动驾驶”，进而推动大数据和人工智能技术融合为一，引领全球大数据计算进入下一时代。中国科学院院士梅宏、中国信息通信研究院云计算与大数据研究所副所长魏凯、埃森哲战略与咨询董事总经理袁虹、腾讯数据平台部总经理蒋杰、英特尔大数据首席工程师程从超、腾讯数

腾讯大数据

2021-04-21

5330

JDK16贡献榜公布，腾讯Kona JDK蝉联全国第一

jdk 大数据 java api 机器学习

导读 / Introduction 3月16日，JDK16正式对外发布。据Oracle官方公告，腾讯Kona JDK团队蝉联JDK16中国企业贡献度排名第一，并再次作为全球Notable贡献者被Oracle点名致谢。作为Java标准版最主流的参考实现之一，目前国际上众多顶级科技公司基于OpenJDK开源项目研发了多种JDK发行版，腾讯Kona JDK便是其中颇具特色的发行版之一。在最新发布的JDK16中，针对最引人注目的Java新特性Vector API，腾讯Kona JDK通过内部广告大数据/

腾讯大数据

2021-03-23

1K0

找准赛道在技术浪潮中厚积薄发

开源机器学习神经网络深度学习人工智能

本文转载自：光明日报作者：陶阳宇由光明日报记者龚亮采访整理陶阳宇，80后程序员，腾讯云人工智能平台总监。目前从事人工智能、大数据领域研究，主攻机器学习和安全联合计算。【观察者】 2020年4月，国家发改委正式明确将人工智能纳入新基建范围。人工智能作为智能经济发展的核心引擎，无疑将迎来发展的新风口。青年程序员正身处于前所未有的广阔实践场域，只要确定正确的目标并踏实努力，必将大有可为。我是博士毕业后开始程序员生涯的，到目前为止已超过11年了。程序员这个群体最大的特征就是聪明好学并且思维活跃，

腾讯大数据

2020-12-21

3640

Angel：深度学习在腾讯广告推荐系统中的实践

angel 机器学习推荐系统深度学习神经网络

导读：Angel是腾讯自研的分布式高性能的机器学习平台，支持机器学习、深度学习、图计算以及联邦学习等场景。Angel的深度学习平台已应用在腾讯的很多个场景中。所以今天会为大家介绍Angel：深度学习在腾讯广告推荐系统中的应用实践，介绍的内容会围绕着下面几点展开。 Angel机器学习平台广告推荐系统与模型模型训练和优化优化效果 01 Angel机器学习平台 1. Angel机器学习平台架构 Angel机器学习平台是腾讯自研的基于传统Parameter Server架构的高性能分布式的机器学习平台如图

腾讯大数据

2020-10-26

9780

解密Angel PowerFL联邦学习平台中的纵向GBDT算法

编程算法决策树联邦学习机器学习神经网络

导语: GBDT（或XGBoost）算法是一种十分流行的树集成学习算法，不但是数据科学竞赛的常胜工具，在工业界的具体业务场景也有广泛的落地场景。然而，近年来用户隐私数据保护条例逐渐完善，“数据孤岛”逐渐形成，不但数据难以收集，不同公司或团队之间的数据也难以共享，这直接影响着机器学习模型的效果。为了应对这个问题，联邦学习技术逐渐进入人们的视线。本文聚焦腾讯自研的联邦学习平台Angel PowerFL中纵向联邦GBDT算法实现，介绍纵向联邦GBDT算法的原理和流程，并讲解相关的优化技术。梯度提升决策树算法

腾讯大数据

2020-09-09

4K0

【直播】星火计划|Angel图计算技术沙龙火热报名中

angel 机器学习神经网络深度学习人工智能

导语：近年来，图机器学习（Graph Machine Learning，GML）在AI界悄然兴起。在各大AI顶级学术会议中，常常能看见它的身影，相关的学术论文也是层出不穷。例如，在今年4月份举办的学术顶会ICLR 2020中，关于GML的研究论文共提交了150 篇，有约1/3被录用，约占全部被录用论文的 10%——由此可见，GML已成为一个广受关注的研究领域。 7月8日-9日，每天19:00，连续两天的腾讯大数据技术沙龙《Angel图计算》直播专场将于线上举办。活动邀请了北京大学王选研究所教授、腾讯信息安

腾讯大数据

2020-07-07

5930

Angel 3.1：高性能图计算的三体艺术

编程算法 angel 数据结构 spark 机器学习

| 导语 Angel是腾讯首个AI开源项目，2019年在基金会的孵化过程中，完成了3.0版本的发布，并于同年在基金会顺利毕业。作为面向机器学习的第三代高性能计算平台，Angel提供了全栈的机器学习能力，并致力于解决高维稀疏大模型训练及大规模图数据分析的问题。我们看到在万物互连的复杂网络世界，现实中许多问题也可以抽象成图来表达，而金融支付、安全风控、推荐广告、知识图谱等业务积累了大量的图数据，亟需借助传统图挖掘、图表示学习和图神经网络等图分析技术，从海量关系结构的数据中挖掘丰富的信息，以弥补单点分析

腾讯大数据

2020-05-16

1.3K0

冠军奖金50万！2020腾讯广告算法大赛广发“英雄帖”

编程算法腾讯广告算法大赛机器学习神经网络深度学习

由腾讯广告主办，腾讯云、腾讯大数据、腾讯招聘及腾讯高校合作等合作伙伴联袂举办的2020腾讯广告算法大赛现已启动，5月31日前皆可报名参加！百万奖金池重磅加码，“逆算”赛题趣味竞技、更有超强评委阵容、丰厚资源强势加持。与此同时，腾讯会议也为大赛全程提供远程协同、线上会议及直播等服务。 01 TI-ONE为大赛唯一指定平台，Angel训练框架强势助力今年大赛，腾讯云智能钛机器学习平台（TI-ONE）将作为大赛期间唯一指定的机器学习平台。作为 AI 工程师打造的一站式机器学习服务平台，TI-ONE将

腾讯大数据

2020-04-26

9440

对话腾讯大数据团队：自研联邦学习系统的技术实践和难点

angel 联邦学习机器学习深度学习神经网络

作者 | 蔡芳芳近两年，联邦学习发展迅速，开始从理论研究迈向批量应用的落地阶段，越来越多企业尝试引入联邦学习，用它来解决人工智能大规模落地过程中遭遇的数据瓶颈问题。但现成的联邦学习工具和框架并非拿来即用的“灵丹妙药”，联邦学习要真正在企业实际业务场景中发挥作用，仍有许多问题需要摸索，比如如何匹配业务的实际需求、如何兼容现有业务流程、如何尽可能减少对已有训练系统的改动等。为此，InfoQ 采访了腾讯 TEG 数据平台部的智能学习团队，深入了解联邦学习在腾讯的实践情况，以及他们对联邦学习技术难点的解决思

腾讯大数据

2020-03-19

1.1K0

腾讯大数据星火计划--Angel技术沙龙对外报名正式启动！

大数据机器学习神经网络深度学习人工智能

导语：腾讯大数据举办星火计划技术沙龙为广大大数据爱好者提供线下交流活动机会，技术沙龙第一期将于10月13日在深圳腾讯大厦举办，为您揭秘海量机器学习之道与Angel开源背后的故事。大数据技术在过去10多年中改变了企业对数据的存储、处理和分析的过程，如今的大数据技术栈逐渐成熟并涵盖了计算、存储、数仓、数据集成、NOSQL、OLAP分析、机器学习与数据科学等丰富的内容。在未来的发展方向上，大数据技术还会在引擎容器化、大数据机器学习、数据湖等方面不断延伸。为了让大数据爱好者们可以了解腾讯在大数据领域的技术

腾讯大数据

2019-10-08

5300

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态