腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
腾讯大数据的专栏
专栏成员
举报
328
文章
479600
阅读量
125
订阅数
订阅专栏
申请加入专栏
全部文章(328)
大数据(172)
机器学习(41)
数据库(37)
编程算法(33)
spark(26)
腾讯(26)
深度学习(25)
sql(24)
神经网络(24)
开源(24)
angel(24)
数据处理(20)
人工智能(18)
分布式(17)
hadoop(17)
数据(17)
jdk(16)
数据分析(16)
https(16)
apache(14)
存储(14)
网络安全(14)
微信(13)
游戏(12)
运维(12)
java(11)
云数据库 SQL Server(10)
腾讯云开发者社区(10)
联邦学习(10)
数据结构(9)
云直播(8)
hive(8)
隐私计算(7)
数据湖(7)
优化(7)
postgresql(6)
api(6)
腾讯移动推送(6)
容器(6)
安全(6)
其他(5)
ios(5)
node.js(5)
linux(5)
容器镜像服务(5)
短视频(5)
TDSQL MySQL 版(5)
kubernetes(5)
小程序(5)
系统架构(5)
腾讯移动分析(4)
数据安全(4)
缓存(4)
jvm(4)
推荐系统(4)
云计算(4)
flink(4)
数据挖掘(3)
android(3)
打包(3)
github(3)
文件存储(3)
文字识别(3)
mongodb(3)
网站(3)
企业(3)
serverless(3)
数据可视化(3)
微服务(3)
数据集成(3)
基础(3)
架构(3)
开发者(3)
模型(3)
实践(3)
视频(3)
NLP 服务(2)
自动驾驶(2)
python(2)
ide(2)
git(2)
微信小程序音视频(2)
数据迁移(2)
html5(2)
pytorch(2)
模式识别(2)
任务调度(2)
特征工程(2)
性能测试(2)
Elasticsearch Service(2)
智能客服机器人(2)
大数据存储(2)
腾讯云(2)
软件(2)
系统(2)
费用中心(1)
私有网络(1)
对象存储(1)
语音识别(1)
人脸识别(1)
创业扶持(1)
iphone(1)
php(1)
javascript(1)
jquery(1)
单片机(1)
oracle(1)
云数据库 Redis(1)
mvc(1)
svn(1)
spring(1)
mapreduce(1)
容器服务(1)
消息队列 CMQ 版(1)
SSL 证书(1)
知识图谱(1)
腾讯计费(1)
腾讯云测试服务(1)
图像处理(1)
高性能计算(1)
日志数据(1)
电商(1)
金融(1)
o2o(1)
出行(1)
http(1)
yarn(1)
云+未来(1)
devops(1)
压力测试(1)
无人驾驶(1)
图像识别(1)
强化学习(1)
sql server(1)
jdbc(1)
决策树(1)
zookeeper(1)
自动化测试(1)
tcp/ip(1)
gcc(1)
迁移学习(1)
机器人(1)
架构设计(1)
图片加速(1)
kafka(1)
虚拟化(1)
安全治理(1)
sdk(1)
迁移(1)
raft(1)
腾讯广告算法大赛(1)
数据接入平台(1)
数据库管理(1)
流计算 Oceanus(1)
移动推送(1)
可信计算(1)
教育(1)
app(1)
bi(1)
im(1)
wifi(1)
报表(1)
编程(1)
编译器(1)
并发(1)
产品(1)
行业(1)
互联网(1)
集群(1)
解决方案(1)
开发(1)
客户端(1)
论文(1)
内存(1)
搜索(1)
统计(1)
网络(1)
芯片(1)
研发(1)
硬件(1)
智慧城市(1)
搜索文章
搜索
搜索
关闭
智能计算 | 天穹SuperSQL如何利用机器学习实现计算引擎自适应
sql
编程算法
大数据
神经网络
深度学习
导语 SuperSQL是腾讯天穹自研的下一代大数据自适应计算平台。通过开放融合的架构,实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能化调度纳入内部系统闭环,给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来,专注于业务逻辑的实现,像使用“数据库”一样使用“大数据”,实现业务逻辑与底层大数据技术的解耦。 背景 在大数据生态里,不同计算引擎适合不同的计算场景,Spark适合
腾讯大数据
2022-11-03
1.3K
0
十年磨一剑 | 《腾讯大数据构建之道》正式出版
大数据
sql
机器学习
神经网络
深度学习
近日,在刚刚出版的《腾讯大数据构建之道》新书中,腾讯首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。作为国内大数据领域的一部前沿技术著作,该书汇集了腾讯在大数据领域几十位技术专家的思考和实战精髓,通过全面剖析自身在大数据领域的探索以及落地,为国内大数据从业者提供了一份极具价值的参考文献。 腾讯公司副总裁蒋杰表示:“从第一代的离线计算到以隐私计算、数智融合、云原生为代表的第四代大数据技术,腾讯大数据团队不断基于内部海量业务实践,打造领先的技术和产品服务内外部众多客户。未来,腾讯还将通过腾讯云持续开
腾讯大数据
2022-09-02
716
0
天穹SuperSQL:腾讯下一代大数据自适应计算引擎
sql
任务调度
大数据
数据分析
机器学习
导语 SuperSQL是腾讯自研的下一代大数据自适应计算平台。通过开放融合的架构,实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能调度纳入内部系统闭环,给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来,专注于业务逻辑的实现,像使用“数据库”一样使用“大数据”,实现业务逻辑与底层大数据技术的解耦。 SuperSQL作为腾讯大数据智能计算平台的入口和决策中心,整合不同的大数
腾讯大数据
2022-08-26
4.6K
0
龙举云兴|顶级项目 Apache InLong 核心技术探秘
apache
flink
sql
数据库
云数据库 SQL Server
Apache 软件基金会(即 Apache Software Foundation,简称为 ASF)于近日正式宣布,Apache InLong(应龙) 从孵化器成功毕业,成为基金会顶级项目! Apache 基金会公告(点击“阅读原文”查看) Apache InLong 的毕业,标志着业界首个一站式大数据集成 Apache 顶级项目诞生,也标志着第一个由腾讯捐献的 Apache 项目孵化成功,中国本土原生的顶级项目再增一员,恭喜 InLong 社区。Apache 软件基金会是专门为支持开源软件项目而办的一个
腾讯大数据
2022-06-24
409
0
直播预告 | 腾讯新一代多维分析引擎MercsDB
api
云直播
数据库
sql
6月11日9点,腾讯大数据将联合DataFun举办:多维分析架构峰会。腾讯数据平台部总监陈鹏将担任峰会的荣誉主席,计算平台组负责人陈奕安将担任峰会的主席。 本次峰会共设置9大主题论坛,来自腾讯的技术专家龙跃将担任新一代 MPP 数据库架构论坛出品人并作《腾讯新一代多维分析引擎MercsDB》主题分享。本次峰会精彩纷呈,内容上既涵盖了开源多维分析、新一代MPP数据库架构、数据湖分析型架构、实时多维分析等核心技术,也包含金融、互联网、交通、物流、工业、画像、营销等多个应用场景的实践经验。 感兴趣的朋友欢迎预约直
腾讯大数据
2022-06-10
926
0
开源新发布 | Apache InLong(incubating) 进入1.0 时代!
apache
数据集成
数据库
数据分析
sql
点击蓝字关注 | 更多腾讯大数据资讯 Apache InLong(应龙)是一个一站式的海量数据集成平台,提供自动、安全、可靠和高性能的数据传输能力,同时支持批和流,方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能,用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 1 Apache InLong (incubating) 简介 Apache InLong(应龙)是腾讯捐献给 Apache 社区的一站式海量数据集成框架,提供自动
腾讯大数据
2022-03-04
785
0
智能计算时代 | SuperSQL基于监督学习模型的自适应计算提效能力
sql
数据库
云数据库 SQL Server
hive
hadoop
点击蓝字 关注我们更多咨询 天穹SuperSQL是腾讯自研、基于统一SQL语言模型、面向机器学习智能调优、提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的Data Cloud上,业务方可以消费完整的数据生命周期(采集-存储-计算-分析-洞察),还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 目前,SuperSQL已经迈入智能计算时代,SuperSQL能够基于规则匹配(RBO)与代价估算(CBO),利用不同算法智能地为不同用户SQL挑选最合适的执行引擎,极大地优化S
腾讯大数据
2022-03-03
1.1K
0
天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级?
sql
hive
大数据
缓存
天穹SuperSQL是腾讯自研,基于统一的SQL语言模型,面向机器学习智能调优,提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的Data Cloud上,业务方可以消费完整的数据生命周期,从采集-存储-计算-分析-洞察。还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 Presto在腾讯天穹SuperSQL大数据生态中,定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。Presto服务了腾讯内部的不同业务场景,包括微信支付、QQ、游戏等关键业
腾讯大数据
2022-01-23
1.8K
0
Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践
spark
serverless
大数据
存储
sql
图片来源:pexels 背景 Firestorm Shuffle是分布式计算框架用来衔接上下游任务的数据重分布过程,在分布式计算中所有涉及到数据上下游衔接的过程都可以理解为shuffle。针对不同的分布式框架,shuffle有几种实现形态: 基于文件的pull based shuffle,如MapReduce、Spark。这种shuffle方式多用于类MR的框架,比如MapReduce、Spark,它的特点是具有较高的容错性,适合较大规模的批处理作业。由于实现的是基于文件的shuffle方案,因此失败
腾讯大数据
2021-11-19
3.1K
0
开箱即用,腾讯数据湖计算为海量数据分析赋能
hive
sql
私有网络
容器服务
serverless
导读 / Introduction 数据湖解决了海量异构数据的入湖和存储需求。通过对海量数据的分析挖掘,提升对数据的洞察,助力数字化决策,进而促进业务发展,是每个企业构建数据湖的根本目的所在。随着业务迭代的不断加速,企业对数据时效性和数据分析敏捷性提出了更高的要求。为此,腾讯云推出了数据湖计算(Data Lake Compute,DLC)。DLC采用存储和计算分离的架构,结合腾讯云对象存储COS和弹性容器服务EKS,打造了一个开箱即用、弹性扩展、按量付费的交互式分析服务。 图1 DLC架构图 高性
腾讯大数据
2021-05-13
1.4K
0
大数据江湖十年:腾讯底层技术的进化往事
开源
大数据
数据库
数据处理
sql
生活不可能像你想象得那么好,但也不会像你想象得那么糟。人的脆弱和坚强都超乎自己的想象。有时,我们可能脆弱得一句话就泪流满面,有时,也发现自己咬着牙走了很长的路。 本文转载自:鹅厂技术派 人们常说,腾讯因为微信,拿到了进入移动互联网时代的一张站票,但是在互联网数据像火山一样爆发的前夕,大数据何尝不是腾讯能够屹立顶级科技公司的另外一张隐性门票。 去年9月份,腾讯云对外宣布其大数据平台的算力弹性资源池达500万核,每日分析任务数达1500万,每日实时计算次数超过40万亿,能支持超过十万亿维度的数据训练
腾讯大数据
2021-01-12
953
0
「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘
postgresql
sql
数据库
云数据库 SQL Server
hive
导语:得益于调度单元是通用的SQL语句,SuperSQL能够做到与特定计算引擎解耦,也正因为此原因,SuperSQL只需专注在最优执行计划生成,并根据SQL具体类型选择最佳的计算引擎。 天穹SuperSQL是腾讯自研的跨数据源、跨数据中心、跨计算引擎的大数据SQL引擎,能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。在腾讯整个天穹大数据图谱中,负责连接端与存储。 数据源无论是关系型数据库、NoSQL还是大数据系统;数据存储无论是跨集群还是跨数据中心;数据计算无论是报表生成、分析挖掘
腾讯大数据
2020-06-16
3.1K
0
TBase 应用接入指南
打包
数据库
sql
php
java
上一篇:TBase Quick Start (请点击文章底部“阅读原文”查看) 介绍了TBase的架构,源码的编译安装,集群运行状态、启动停止等。本篇将介绍应用程序如何连接TBase数据库进行建库、建表、数据导入、查询等操作。 TBase兼容所有支持Postgres协议的客户端连接,这里将详细介绍JAVA、C语言、shell语言、Python、PHP、Golang 这6种最常用的开发语言连接TBase的操作方法。 1、JAVA开发 1.1、创建数据表 import java.sql.Connection;
腾讯大数据
2019-12-03
5.1K
0
TBase Quick Start
数据库
sql
node.js
https
网络安全
什么是TBase TBase是一个提供写可靠性,多主节点数据同步的关系数据库集群平台。你可以将TBase配置一台或者多台主机上,TBase数据存储在多台物理主机上面。数据表的存储有两种方式, 分别是distributed或者replicated ,当向TBase发送查询 SQL时,TBase会自动向数据节点发出查询语句并获取最终结果。 TBase采用分布式集群架构(如下图), 该架构分布式为无共享(share nothing)模式,节点之间相应独立,各自处理自己的数据,处理后的结果可能向上层汇总或在节点间
腾讯大数据
2019-11-18
1.8K
0
SuperSQL:跨数据源、跨DC、跨执行引擎的高性能大数据SQL中间件
云数据库 SQL Server
sql
spark
数据库
jdbc
导语:SuperSQL是腾讯数据平台部自研的跨数据源、跨数据中心、跨执行引擎的统一大数据SQL分析平台/中间件,支持对接适配多类外部开源SQL执行引擎,如Spark、Hive等。 背景 SuperSQL是一款自研的跨数据源、跨数据中心、跨执行引擎的高性能大数据SQL中间件,满足对位于不同数据中心的不同类型数据源的数据联合分析/即时查询的需求。SuperSQL的目标是成为公司内部统一的SQL分析中间件,实现以下三点的价值: 解决业务数据孤岛,最大化数据的使用价值 执行引擎最优选择,提升业务使用数据效率 优化
腾讯大数据
2019-09-26
3.6K
0
拯救DBA,会说话的数据库 | 8月28日揭秘
数据库
sql
云直播
云和AI,为数据库的进化提供了无限可能。 从“数据库+云”到“云+数据库”,腾讯云重新定义数据库云服务。 8月28日,腾讯云数据库将举办战略升级发布会,发布系列重磅新品。腾讯20年数据沉淀和数十位顶尖专家不断优化改进,让数据库会说话,彻底解放DBA,开启“实时、简单、便捷、高效”管理数据库的新时代! 现场特邀中国计算机行业协会开源数据库专委会会长周彦伟、DBAplus社群联合创始人韩锋共同探讨如何融合云和AI的能力让数据库变得更加“智能”“稳定”“可靠”“安全”,共话未来数据库场景。 发布时间 8月28日
腾讯大数据
2019-08-26
509
0
活动报名丨数据库技术探索及行业应用
微信
数据库
postgresql
sql
图片加速
数据是企业的核心资产,数据库作为数据的载体,承担着至关重要的角色。它的性能、稳定性、可靠性、容灾以及安全成为企业应用的首要考量要素。数据库从技术上是如何实现以及实际中是如何服务于各个行业的呢?我们邀请到了数据库领域的各位大咖,为您详解目前主流数据库的技术,以及在各行业的应用实践。 活动时间 8月24日 周六 13:00-18:00 活动地点 广东省深圳市南山区高新园飞亚达科技大厦-5L 报名二维码 议题介绍 PostgreSQL各版本功能演进 及未来版本特性展望 演讲嘉宾:张文升 -《Post
腾讯大数据
2019-08-13
1.6K
0
腾讯HTAP数据库TBase分布式事务揭秘
分布式
mvc
TDSQL MySQL 版
数据库
sql
TBase是一款腾讯自研高性能HTAP数据库,提供高性能的OLTP和OLAP能力,同时保证可扩展全局一致性分布式事务(ACID)。在OLTP方面,TBase采用MVCC+全局时钟+2PC+SSI的方式来实现全局一致性分布式事务,同时引入大量性能优化的设计来减少全局事务带来的开销。在小规模集群上,TBase能够提供超过300万TPMTotal的事务处理吞吐量(工业界标准TPCC测试集)。 本篇文章先介绍TBase的架构体系和数据库事务的基本原理,然后介绍学术界最先进的分布式事务设计方案,最后阐述我们
腾讯大数据
2019-08-07
2.9K
0
关注这些腾讯公号,助你走上人生巅峰(送价值万元的福利)
sql
数据库
javascript
费用中心
来了?鹅厂小编们等你很久了!咱们闲话少叙,今天,10位小编携手为你奉上10份超级大礼: 书籍、技术教程、鹅厂公仔、腾讯云代金券……每位朋友都可以免!费!参与抽奖! 01 技术书籍 本次奖池涵盖数据分析、人工智能、编程等多个领域。一份技术人获益的典藏书单,强烈推荐,借助书籍希望大家能够由浅入深、循序渐进的学习新知,事半功倍,少走弯路。赠送书单明细请翻至文末查看哦~ 02 实战教程 鹅厂资深数据库专家录制的数据库实战视频课程,教你从青铜到王者学习数据库;小程序云开发教程,含源码,教你7天打造流量过亿的小程序,
腾讯大数据
2019-06-19
3.6K
0
腾讯实时计算平台Oceanus建设实践
flink
大数据
云计算
linux
sql
2019年4月1-2日,Flink Forward 2019 San Francisco会议在旧金山召开。Flink Forward会议邀请了来自Google, Uber, Netflix和Alibaba等公司在实时计算领域的顶尖专家和一线实践者,深入讨论了Flink社区的最新进展和发展趋势,以及Flink在业界的应用实践。随着近年来对Flink技术的广泛应用以及对Flink社区的活跃贡献,腾讯也受邀参加了会议并以主题Developing and Operating Real-Time Applications at Tencent介绍了腾讯大数据在实时计算平台建设上的工作。
腾讯大数据
2019-05-16
2.4K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档