腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

324

文章

455344

阅读量

124

订阅数

智能计算 | 天穹SuperSQL如何利用机器学习实现计算引擎自适应

sql 编程算法大数据神经网络深度学习

导语 SuperSQL是腾讯天穹自研的下一代大数据自适应计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能化调度纳入内部系统闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。背景在大数据生态里，不同计算引擎适合不同的计算场景，Spark适合

腾讯大数据

2022-11-03

1.1K0

十年磨一剑 | 《腾讯大数据构建之道》正式出版

大数据 sql 机器学习神经网络深度学习

近日，在刚刚出版的《腾讯大数据构建之道》新书中，腾讯首次对外披露了自身大数据核心技术体系架构和海量业务应用实践。作为国内大数据领域的一部前沿技术著作，该书汇集了腾讯在大数据领域几十位技术专家的思考和实战精髓，通过全面剖析自身在大数据领域的探索以及落地，为国内大数据从业者提供了一份极具价值的参考文献。腾讯公司副总裁蒋杰表示：“从第一代的离线计算到以隐私计算、数智融合、云原生为代表的第四代大数据技术，腾讯大数据团队不断基于内部海量业务实践，打造领先的技术和产品服务内外部众多客户。未来，腾讯还将通过腾讯云持续开

腾讯大数据

2022-09-02

6490

天穹SuperSQL：腾讯下一代大数据自适应计算引擎

sql 任务调度大数据数据分析机器学习

导语 SuperSQL是腾讯自研的下一代大数据自适应计算平台。通过开放融合的架构，实现一套代码高效解决公有云、私有云、内网的任何大数据计算场景问题。我们通过将异构计算引擎/异构存储服务、计算引擎的智能化/自动化、SQL的流批一体、算力感知的智能调度纳入内部系统闭环，给用户提供极简统一的大数据计算体验。用户能够从繁杂的底层技术细节中解脱出来，专注于业务逻辑的实现，像使用“数据库”一样使用“大数据”，实现业务逻辑与底层大数据技术的解耦。 SuperSQL作为腾讯大数据智能计算平台的入口和决策中心，整合不同的大数

腾讯大数据

2022-08-26

4K0

龙举云兴｜顶级项目 Apache InLong 核心技术探秘

apache flink sql 数据库云数据库 SQL Server

Apache 软件基金会（即 Apache Software Foundation，简称为 ASF）于近日正式宣布，Apache InLong（应龙）从孵化器成功毕业，成为基金会顶级项目！ Apache 基金会公告（点击“阅读原文”查看） Apache InLong 的毕业，标志着业界首个一站式大数据集成 Apache 顶级项目诞生，也标志着第一个由腾讯捐献的 Apache 项目孵化成功，中国本土原生的顶级项目再增一员，恭喜 InLong 社区。Apache 软件基金会是专门为支持开源软件项目而办的一个

腾讯大数据

2022-06-24

3760

直播预告 | 腾讯新一代多维分析引擎MercsDB

api 云直播数据库 sql

6月11日9点，腾讯大数据将联合DataFun举办：多维分析架构峰会。腾讯数据平台部总监陈鹏将担任峰会的荣誉主席，计算平台组负责人陈奕安将担任峰会的主席。本次峰会共设置9大主题论坛，来自腾讯的技术专家龙跃将担任新一代 MPP 数据库架构论坛出品人并作《腾讯新一代多维分析引擎MercsDB》主题分享。本次峰会精彩纷呈，内容上既涵盖了开源多维分析、新一代MPP数据库架构、数据湖分析型架构、实时多维分析等核心技术，也包含金融、互联网、交通、物流、工业、画像、营销等多个应用场景的实践经验。感兴趣的朋友欢迎预约直

腾讯大数据

2022-06-10

8700

开源新发布 | Apache InLong(incubating) 进入1.0 时代！

apache 数据集成数据库数据分析 sql

点击蓝字关注 | 更多腾讯大数据资讯 Apache InLong（应龙）是一个一站式的海量数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 1 Apache InLong (incubating) 简介 Apache InLong（应龙）是腾讯捐献给 Apache 社区的一站式海量数据集成框架，提供自动

腾讯大数据

2022-03-04

7070

智能计算时代 | SuperSQL基于监督学习模型的自适应计算提效能力

sql 数据库云数据库 SQL Server hive hadoop

点击蓝字关注我们更多咨询天穹SuperSQL是腾讯自研、基于统一SQL语言模型、面向机器学习智能调优、提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的Data Cloud上，业务方可以消费完整的数据生命周期（采集-存储-计算-分析-洞察），还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。目前，SuperSQL已经迈入智能计算时代，SuperSQL能够基于规则匹配(RBO)与代价估算(CBO)，利用不同算法智能地为不同用户SQL挑选最合适的执行引擎，极大地优化S

腾讯大数据

2022-03-03

9860

天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级？

sql hive 大数据缓存

天穹SuperSQL是腾讯自研，基于统一的SQL语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的Data Cloud上，业务方可以消费完整的数据生命周期，从采集-存储-计算-分析-洞察。还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 Presto在腾讯天穹SuperSQL大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。Presto服务了腾讯内部的不同业务场景，包括微信支付、QQ、游戏等关键业

腾讯大数据

2022-01-23

1.7K0

Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践

spark serverless 大数据存储 sql

图片来源：pexels 背景 Firestorm Shuffle是分布式计算框架用来衔接上下游任务的数据重分布过程，在分布式计算中所有涉及到数据上下游衔接的过程都可以理解为shuffle。针对不同的分布式框架，shuffle有几种实现形态：基于文件的pull based shuffle，如MapReduce、Spark。这种shuffle方式多用于类MR的框架，比如MapReduce、Spark，它的特点是具有较高的容错性，适合较大规模的批处理作业。由于实现的是基于文件的shuffle方案，因此失败

腾讯大数据

2021-11-19

2.8K0

开箱即用，腾讯数据湖计算为海量数据分析赋能

hive sql 私有网络容器服务 serverless

导读 / Introduction 数据湖解决了海量异构数据的入湖和存储需求。通过对海量数据的分析挖掘，提升对数据的洞察，助力数字化决策，进而促进业务发展，是每个企业构建数据湖的根本目的所在。随着业务迭代的不断加速，企业对数据时效性和数据分析敏捷性提出了更高的要求。为此，腾讯云推出了数据湖计算(Data Lake Compute，DLC)。DLC采用存储和计算分离的架构，结合腾讯云对象存储COS和弹性容器服务EKS，打造了一个开箱即用、弹性扩展、按量付费的交互式分析服务。图1 DLC架构图高性

腾讯大数据

2021-05-13

1.4K0

大数据江湖十年：腾讯底层技术的进化往事

开源大数据数据库数据处理 sql

生活不可能像你想象得那么好，但也不会像你想象得那么糟。人的脆弱和坚强都超乎自己的想象。有时，我们可能脆弱得一句话就泪流满面，有时，也发现自己咬着牙走了很长的路。本文转载自：鹅厂技术派人们常说，腾讯因为微信，拿到了进入移动互联网时代的一张站票，但是在互联网数据像火山一样爆发的前夕，大数据何尝不是腾讯能够屹立顶级科技公司的另外一张隐性门票。去年9月份，腾讯云对外宣布其大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过十万亿维度的数据训练

腾讯大数据

2021-01-12

9100

「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘

postgresql sql 数据库云数据库 SQL Server hive

导语：得益于调度单元是通用的SQL语句，SuperSQL能够做到与特定计算引擎解耦，也正因为此原因，SuperSQL只需专注在最优执行计划生成，并根据SQL具体类型选择最佳的计算引擎。天穹SuperSQL是腾讯自研的跨数据源、跨数据中心、跨计算引擎的大数据SQL引擎，能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。在腾讯整个天穹大数据图谱中，负责连接端与存储。数据源无论是关系型数据库、NoSQL还是大数据系统；数据存储无论是跨集群还是跨数据中心；数据计算无论是报表生成、分析挖掘

腾讯大数据

2020-06-16

2.9K0

TBase 应用接入指南

打包数据库 sql php java

上一篇:TBase Quick Start （请点击文章底部“阅读原文”查看）介绍了TBase的架构，源码的编译安装，集群运行状态、启动停止等。本篇将介绍应用程序如何连接TBase数据库进行建库、建表、数据导入、查询等操作。 TBase兼容所有支持Postgres协议的客户端连接，这里将详细介绍JAVA、C语言、shell语言、Python、PHP、Golang 这6种最常用的开发语言连接TBase的操作方法。 1、JAVA开发 1.1、创建数据表 import java.sql.Connection;

腾讯大数据

2019-12-03

5K0

TBase Quick Start

数据库 sql node.js https 网络安全

什么是TBase TBase是一个提供写可靠性，多主节点数据同步的关系数据库集群平台。你可以将TBase配置一台或者多台主机上，TBase数据存储在多台物理主机上面。数据表的存储有两种方式，分别是distributed或者replicated ，当向TBase发送查询 SQL时，TBase会自动向数据节点发出查询语句并获取最终结果。 TBase采用分布式集群架构（如下图），该架构分布式为无共享(share nothing)模式，节点之间相应独立，各自处理自己的数据，处理后的结果可能向上层汇总或在节点间

腾讯大数据

2019-11-18

1.7K0

SuperSQL：跨数据源、跨DC、跨执行引擎的高性能大数据SQL中间件

云数据库 SQL Server sql spark 数据库 jdbc

导语：SuperSQL是腾讯数据平台部自研的跨数据源、跨数据中心、跨执行引擎的统一大数据SQL分析平台/中间件，支持对接适配多类外部开源SQL执行引擎，如Spark、Hive等。背景 SuperSQL是一款自研的跨数据源、跨数据中心、跨执行引擎的高性能大数据SQL中间件，满足对位于不同数据中心的不同类型数据源的数据联合分析/即时查询的需求。SuperSQL的目标是成为公司内部统一的SQL分析中间件，实现以下三点的价值：解决业务数据孤岛，最大化数据的使用价值执行引擎最优选择，提升业务使用数据效率优化

腾讯大数据

2019-09-26

3.5K0

拯救DBA，会说话的数据库 | 8月28日揭秘

数据库 sql 云直播

云和AI，为数据库的进化提供了无限可能。从“数据库+云”到“云+数据库”，腾讯云重新定义数据库云服务。 8月28日，腾讯云数据库将举办战略升级发布会，发布系列重磅新品。腾讯20年数据沉淀和数十位顶尖专家不断优化改进，让数据库会说话，彻底解放DBA，开启“实时、简单、便捷、高效”管理数据库的新时代！现场特邀中国计算机行业协会开源数据库专委会会长周彦伟、DBAplus社群联合创始人韩锋共同探讨如何融合云和AI的能力让数据库变得更加“智能”“稳定”“可靠”“安全”，共话未来数据库场景。发布时间 8月28日

腾讯大数据

2019-08-26

4830

活动报名丨数据库技术探索及行业应用

微信数据库 postgresql sql 图片加速

数据是企业的核心资产，数据库作为数据的载体，承担着至关重要的角色。它的性能、稳定性、可靠性、容灾以及安全成为企业应用的首要考量要素。数据库从技术上是如何实现以及实际中是如何服务于各个行业的呢？我们邀请到了数据库领域的各位大咖，为您详解目前主流数据库的技术，以及在各行业的应用实践。活动时间 8月24日周六 13:00-18:00 活动地点广东省深圳市南山区高新园飞亚达科技大厦-5L 报名二维码议题介绍 PostgreSQL各版本功能演进及未来版本特性展望演讲嘉宾：张文升 -《Post

腾讯大数据

2019-08-13

1.6K0

腾讯HTAP数据库TBase分布式事务揭秘

分布式 mvc TDSQL MySQL 版数据库 sql

TBase是一款腾讯自研高性能HTAP数据库，提供高性能的OLTP和OLAP能力，同时保证可扩展全局一致性分布式事务（ACID）。在OLTP方面，TBase采用MVCC+全局时钟+2PC+SSI的方式来实现全局一致性分布式事务，同时引入大量性能优化的设计来减少全局事务带来的开销。在小规模集群上，TBase能够提供超过300万TPMTotal的事务处理吞吐量（工业界标准TPCC测试集）。本篇文章先介绍TBase的架构体系和数据库事务的基本原理，然后介绍学术界最先进的分布式事务设计方案，最后阐述我们

腾讯大数据

2019-08-07

2.7K0

关注这些腾讯公号，助你走上人生巅峰（送价值万元的福利）

sql 数据库 javascript 费用中心

来了？鹅厂小编们等你很久了！咱们闲话少叙，今天，10位小编携手为你奉上10份超级大礼：书籍、技术教程、鹅厂公仔、腾讯云代金券……每位朋友都可以免！费！参与抽奖！ 01 技术书籍本次奖池涵盖数据分析、人工智能、编程等多个领域。一份技术人获益的典藏书单，强烈推荐，借助书籍希望大家能够由浅入深、循序渐进的学习新知，事半功倍，少走弯路。赠送书单明细请翻至文末查看哦~ 02 实战教程鹅厂资深数据库专家录制的数据库实战视频课程，教你从青铜到王者学习数据库；小程序云开发教程，含源码，教你7天打造流量过亿的小程序，

腾讯大数据

2019-06-19

3.6K0

腾讯实时计算平台Oceanus建设实践

flink 大数据云计算 linux sql

2019年4月1-2日，Flink Forward 2019 San Francisco会议在旧金山召开。Flink Forward会议邀请了来自Google, Uber, Netflix和Alibaba等公司在实时计算领域的顶尖专家和一线实践者，深入讨论了Flink社区的最新进展和发展趋势，以及Flink在业界的应用实践。随着近年来对Flink技术的广泛应用以及对Flink社区的活跃贡献，腾讯也受邀参加了会议并以主题Developing and Operating Real-Time Applications at Tencent介绍了腾讯大数据在实时计算平台建设上的工作。

腾讯大数据

2019-05-16

2.3K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态