腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

324

文章

455036

阅读量

124

订阅数

智能计算 | 天穹SuperSQL如何利用机器学习实现计算引擎自适应

sql 编程算法大数据神经网络深度学习

导语 SuperSQL是腾讯天穹自研的下一代大数据自适应计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能化调度纳入内部系统闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。背景在大数据生态里，不同计算引擎适合不同的计算场景，Spark适合

腾讯大数据

2022-11-03

1.1K0

十年磨一剑 | 《腾讯大数据构建之道》正式出版

大数据 sql 机器学习神经网络深度学习

近日，在刚刚出版的《腾讯大数据构建之道》新书中，腾讯首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。作为国内大数据领域的一部前沿技术著作，该书汇集了腾讯在大数据领域几十位技术专家的思考和实战精髓，通过全面剖析自身在大数据领域的探索以及落地，为国内大数据从业者提供了一份极具价值的参考文献。腾讯公司副总裁蒋杰表示：“从第一代的离线计算到以隐私计算、数智融合、云原生为代表的第四代大数据技术，腾讯大数据团队不断基于内部海量业务实践，打造领先的技术和产品服务内外部众多客户。未来，腾讯还将通过腾讯云持续开

腾讯大数据

2022-09-02

6470

腾讯北大合作的稀疏大模型训练加速方案HET入选国际顶会VLDB

缓存 angel 深度学习机器学习神经网络

近日，腾讯TEG数据平台部机器学习团队与北京大学-腾讯协同创新实验室，合作研发了全新的稀疏大模型训练加速解决方案HET，其研究成果《HET: Scaling out Huge Embedding Model Training via Cache-enabled Distributed Framework》已被国际顶会VLDB 2022录用。HET提出了一种新颖的基于Embedding缓存的训练方法，能够显著降低稀疏大模型分布式训练时通信开销，提升模型训练整体效率。 HET目前已正式开源： https://

腾讯大数据

2021-11-19

6070

多篇论文被顶会收录，腾讯广告推荐团队AI实力获国际认可

数据挖掘人脸识别机器学习神经网络深度学习

导读/ Introduction 近期，国际机器学习大会(ICML)、国际数据挖掘与知识发现大会(KDD)、国际计算机协会信息检索大会(SIGIR)等机器学习、数据挖掘与信息检索领域的国际顶级学术会议分别公布了论文录用结果，腾讯广告推荐团队的4篇论文被接收，涵盖神经网络模型剪枝、人脸识别、智能广告竞价、广告转化率预测等研究方向，研究成果获得国际权威认可。腾讯广告推荐团队基于腾讯广告多流量(微信、QQ、新闻、视频、以及外部优量汇联盟等)，多行业(游戏，电商，教育，金融)，多模态(图片，视频，短视频)的

腾讯大数据

2021-08-17

7010

北大腾讯联合共建Angel4.0，自研深度学习框架“河图”融入生态

分布式 angel 大数据深度学习开源

近日，北京大学-腾讯协同创新实验室（以下简称：实验室）宣布，北京大学与腾讯大数据团队将联合共建Angel4.0——新一代分布式深度学习平台，面向拥有海量训练数据、超大模型参数的深度学习训练场景，为产业界带来新的大规模深度学习破局之策。实验室成立于2017年，主要在人工智能、大数据等科研领域展开前沿探索和人才培养，由北京大学计算机系副主任崔斌教授担任实验室主任，腾讯公司副总裁、数据平台部总经理蒋杰出任副主任。实验室打造的Angel分布式机器学习平台（https://github.com/Angel

腾讯大数据

2021-08-09

7880

找准赛道在技术浪潮中厚积薄发

开源机器学习神经网络深度学习人工智能

本文转载自：光明日报作者：陶阳宇由光明日报记者龚亮采访整理陶阳宇，80后程序员，腾讯云人工智能平台总监。目前从事人工智能、大数据领域研究，主攻机器学习和安全联合计算。【观察者】 2020年4月，国家发改委正式明确将人工智能纳入新基建范围。人工智能作为智能经济发展的核心引擎，无疑将迎来发展的新风口。青年程序员正身处于前所未有的广阔实践场域，只要确定正确的目标并踏实努力，必将大有可为。我是博士毕业后开始程序员生涯的，到目前为止已超过11年了。程序员这个群体最大的特征就是聪明好学并且思维活跃，

腾讯大数据

2020-12-21

3630

Angel：深度学习在腾讯广告推荐系统中的实践

angel 机器学习推荐系统深度学习神经网络

导读：Angel是腾讯自研的分布式高性能的机器学习平台，支持机器学习、深度学习、图计算以及联邦学习等场景。Angel的深度学习平台已应用在腾讯的很多个场景中。所以今天会为大家介绍Angel：深度学习在腾讯广告推荐系统中的应用实践，介绍的内容会围绕着下面几点展开。 Angel机器学习平台广告推荐系统与模型模型训练和优化优化效果 01 Angel机器学习平台 1. Angel机器学习平台架构 Angel机器学习平台是腾讯自研的基于传统Parameter Server架构的高性能分布式的机器学习平台如图

腾讯大数据

2020-10-26

9760

论坛报名 | DataFunCon：AI 平台/框架论坛

大数据 angel 开源分布式深度学习

导读 DataFunCon是由DataFun主办的线上技术大会，由20余位知名专家学者出品，设置了18场专题分享，有超过80位一线资深技术专家参与分享，汇集了2020大数据、AI领域最新技术实践。本次大会将于7月25-26日，9：30-18：00在线上举行。 7月26日，9：00-12：20，由腾讯大数据智能学习团队负责人陶阳宇先生担任出品人的DataFunCon：AI 平台/框架论坛将准时开启，感兴趣的小伙伴和小编一起来了解下吧：详细介绍：出品人：陶阳宇博士腾讯大数据 | 智能学

腾讯大数据

2020-07-23

3.9K0

【直播】星火计划|Angel图计算技术沙龙火热报名中

angel 机器学习神经网络深度学习人工智能

导语：近年来，图机器学习（Graph Machine Learning，GML）在AI界悄然兴起。在各大AI顶级学术会议中，常常能看见它的身影，相关的学术论文也是层出不穷。例如，在今年4月份举办的学术顶会ICLR 2020中，关于GML的研究论文共提交了150 篇，有约1/3被录用，约占全部被录用论文的 10%——由此可见，GML已成为一个广受关注的研究领域。 7月8日-9日，每天19:00，连续两天的腾讯大数据技术沙龙《Angel图计算》直播专场将于线上举办。活动邀请了北京大学王选研究所教授、腾讯信息安

腾讯大数据

2020-07-07

5930

字段级概率校准，助力推荐算法更精准！

深度学习 jquery

丨导语一年一度的国际顶级学术会议万维网大会 (The Web Conference, 即 WWW-2020) 于 4 月 20 日至 4 月 24 日在线上成功召开。WWW-2020 收到来自全球五十多个国家和地区的超过 1500 篇论文投稿，仅录用长文 219 篇，录用率 19%。其中，由腾讯TEG数据平台部，与中科院计算所、清华大学合作研究的成果《Field-aware Calibration: A simple and empirically strong method for reliable

腾讯大数据

2020-05-13

1.9K0

冠军奖金50万！2020腾讯广告算法大赛广发“英雄帖”

编程算法腾讯广告算法大赛机器学习神经网络深度学习

由腾讯广告主办，腾讯云、腾讯大数据、腾讯招聘及腾讯高校合作等合作伙伴联袂举办的2020腾讯广告算法大赛现已启动，5月31日前皆可报名参加！百万奖金池重磅加码，“逆算”赛题趣味竞技、更有超强评委阵容、丰厚资源强势加持。与此同时，腾讯会议也为大赛全程提供远程协同、线上会议及直播等服务。 01 TI-ONE为大赛唯一指定平台，Angel训练框架强势助力今年大赛，腾讯云智能钛机器学习平台（TI-ONE）将作为大赛期间唯一指定的机器学习平台。作为 AI 工程师打造的一站式机器学习服务平台，TI-ONE将

腾讯大数据

2020-04-26

9420

对话腾讯大数据团队：自研联邦学习系统的技术实践和难点

angel 联邦学习机器学习深度学习神经网络

作者 | 蔡芳芳近两年，联邦学习发展迅速，开始从理论研究迈向批量应用的落地阶段，越来越多企业尝试引入联邦学习，用它来解决人工智能大规模落地过程中遭遇的数据瓶颈问题。但现成的联邦学习工具和框架并非拿来即用的“灵丹妙药”，联邦学习要真正在企业实际业务场景中发挥作用，仍有许多问题需要摸索，比如如何匹配业务的实际需求、如何兼容现有业务流程、如何尽可能减少对已有训练系统的改动等。为此，InfoQ 采访了腾讯 TEG 数据平台部的智能学习团队，深入了解联邦学习在腾讯的实践情况，以及他们对联邦学习技术难点的解决思

腾讯大数据

2020-03-19

1.1K0

腾讯大数据星火计划--Angel技术沙龙对外报名正式启动！

大数据机器学习神经网络深度学习人工智能

导语：腾讯大数据举办星火计划技术沙龙为广大大数据爱好者提供线下交流活动机会，技术沙龙第一期将于10月13日在深圳腾讯大厦举办，为您揭秘海量机器学习之道与Angel开源背后的故事。大数据技术在过去10多年中改变了企业对数据的存储、处理和分析的过程，如今的大数据技术栈逐渐成熟并涵盖了计算、存储、数仓、数据集成、NOSQL、OLAP分析、机器学习与数据科学等丰富的内容。在未来的发展方向上，大数据技术还会在引擎容器化、大数据机器学习、数据湖等方面不断延伸。为了让大数据爱好者们可以了解腾讯在大数据领域的技术

腾讯大数据

2019-10-08

5270

Oceanus-ML：端到端的在线机器学习能力

机器学习深度学习神经网络人工智能数据分析

导语丨Oceanus平台在原本的streaming（流计算）场景上全新升级，新增支持ML（在线学习）场景。本文将介绍Oceanus-ML，端到端的在线机器学习能力。用户可通过Oceanus拖拽式画布及参数配置，高效搭建训练逻辑，轻松完成模型训练、评估以及部署整个流程。背景介绍从应用场景划分，流式应用主要可分为两种：一是实时计算；二是在线学习。实时计算应用于ETL、实时报表、监控预警等实时流数据分析场景。在线学习应用于在线推荐、实时搜索等机器学习场景。Oceanus 作为一站式可视化高性能流计算平台，自

腾讯大数据

2019-09-16

1.3K0

活动报名 | 集结腾讯技术专家，共探AI技术原理与实践

NLP 服务腾讯云开发者社区神经网络深度学习人工智能

| 导语 9月7日，上海市长宁区Hello coffee，云+社区邀您参加《AI技术原理与实践》沙龙活动，聚焦人工智能技术在各产业领域的应用落地，共话AI技术带来的机遇与挑战，展望未来。在如今的工业4.0时代，AI已经成为各领域最火热的技术。那AI 的技术原理有哪些？它在各个产业领域又是如何落地应用实践的？在未来又会面临怎样的机遇与挑战？凭借多年的技术积累和完善的产品矩阵，腾讯云AI在计算机视觉、自然语言处理和智能语音方面全面布局，持续推动人工智能技术在各产业领域的应用落地。本期沙龙，腾讯云技术专

腾讯大数据

2019-09-07

7130

GITC倒计时|智能问答技术如何落地于To B场景？（内赠门票）

编程算法神经网络深度学习人工智能

随着人工智能的飞速发展以及广泛落地应用，越来越多的设备将会被植入智能问答技术，人机交互场景随处可见，智能问答在未来将会成为一个非常重要的入口。腾讯小知凭借着业界领先的智能AI引擎算法和海量大数据仓库，已将智能问答技术落地实施，并且经过大量的业务考验和优化，知识点匹配度和准确率都已达到90%以上，在即将举办的2018 GITC全球互联网技术大会上，腾讯小知将展示智能问答技术的最新成果。大会详情时间：2018年11月22日-23日地址：北京·国家会议中心主办方：麒麟会（赠票获取方式

腾讯大数据

2019-01-30

5180

递归的艺术 - 深度递归网络在序列式推荐的应用

人工智能深度学习机器学习神经网络

在内容爆炸性增长的今天，个性化推荐发挥着越来越重要的作用，如何在海量的数据中帮助用户找到感兴趣的物品，成为大数据领域极具挑战性的一项工作；另一方面，深度学习已经被证明在图像处理，计算机视觉，自然语言处理等领域都取得了不俗的效果，但在个性化推荐领域，工程应用仍然相对空白。本文是深度学习在个性化推荐实践应用的第二篇，在第一篇中，我详述了如何利用历史沉淀数据挖掘用户的隐藏特征，本文在上一篇的基础上进行延伸，详细分析如何利用LSTM，即长短时记忆网络来进行序列式的推荐。 1从RBM，RNN到

腾讯大数据

2018-01-29

8960

微信公众号广告点击率预估效果优化

深度学习人工智能机器学习大数据微信

1.背景点击率预估（pCTR）是广告投放过程中的一个重要环节，精准的点击率预估对于广告投放系统收益最大化具有重要意义。pCTR的优化主要有算法优化，系统改进，特征探索等几种途径。2015年下半年微信公众号位置，在引入了多种新特征，优化已有特征的准确度和覆盖率，并使用深度学习的算法框架后，效果取得了明显提升。A/B test结果显示，2015下半年微信公众号位置，CTR+ECPM有12%以上的提升。在此将最近微信公众号pCTR特征优化的一些经历和想法记录下来，欢迎大家讨论。 2.特征探索篇一般而言，广告推荐

腾讯大数据

2018-01-29

2.1K0

效果广告点击率预估实践：深度学习

人工智能微信机器学习深度学习

1. 引言深度学习可以说是目前机器学习和人工智能领域最热的词汇了，已经热了数年，而且有望继续热下去。深度学习技术自横空出世以来，在多个应用领域刷新了历史记录，如语音识别、图像识别、自然语言处理等等，且其后劲甚足，不断有新的记录出现。近日，来自Google和Facebook的两个科学家团队又在体现高级人工智能的计算机围棋上以深度学习技术取得突破，大大提升了计算机棋手的棋力，取得了对一些人类棋手的胜利。Google的这一突破还登上了Nature杂志的封面，并再次刷爆了笔者的朋友圈。鉴于深度学习技术的辉煌战

腾讯大数据

2018-01-29

1.3K0

解密深度学习在智能推荐系统的实践与应用

深度学习人工智能机器学习神经网络

与传统的浅层机器学习相比，深度学习具有优秀的自动提取抽象特征的能力，并且随着分布式计算平台的快速发展，大数据的处理能力得到极大的提升，使得近年来DL在工程界得到广泛的应用，包括图像识别，语音识别，自然语言处理等领域，并取得比传统机器学习更好的效果提升。另一方面，智能推荐系统，本质上是从一堆看似杂乱无章的原始流水数据中，抽象出用户的兴趣因子，挖掘出用户的偏好，因此把深度学习与推荐系统相结合成为近年来DL发展的一个新热点，事实上，Spotify，Netflix，Facebook，Google等公司早已经对如何把

腾讯大数据

2018-01-26

2.1K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态