腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

323

文章

451642

阅读量

124

订阅数

内存省一半、CPU降三成，腾讯大数据团队论文入选数据库顶会 VLDB！

数据库大数据论文内存腾讯

2023 年 8 月 28 日至 9 月 1 日，第49届VLDB国际会议将在加拿大温哥华举行。腾讯大数据平台大脑团队在Spark自动调优领域的研究成果入选了VLDB 2023，并受邀在大会上进行现场报告。 VLDB国际会议 (全称为International Conference on Very Large Data Bases）于1975年在美国的弗雷明汉马成立，与另外两大数据库会议 SIGMOD、ICDE 构成了数据库领域的三大顶级会议，已成为数据库研究人员，供应商，参与者，应用开发者，以及用户一

腾讯大数据

2023-05-24

5080

百亿级实时消息推送的实战之道，与王者荣耀一趟车就是这么稳！

移动推送腾讯移动推送 linux 数据库数据处理

这是一篇干货满满、如假包换的文章读完大约要10分钟要说现在市面上最火爆的手游，莫非拥有两亿注册用户的王者荣耀了。据悉，王者荣耀的渗透率高达22.3%，这意味着每7个中国人中就有一位是王者荣耀注册用户。众所周知，手游App对推送实时性和稳定性要求非常高，而王者荣耀这种日活跃千万级的应用对推送的要求就更高了，下面我们来看看王者荣耀背后的信鸽推送是怎么应对挑战，做到海量、实时和精准推送的。 2017年7月7日-8日，ArchSummit全球架构师峰会在深圳召开。ArchSummit全球架构师峰会是InfoQ

腾讯大数据

2023-03-03

5860

龙举云兴｜顶级项目 Apache InLong 核心技术探秘

apache flink sql 数据库云数据库 SQL Server

Apache 软件基金会（即 Apache Software Foundation，简称为 ASF）于近日正式宣布，Apache InLong（应龙）从孵化器成功毕业，成为基金会顶级项目！ Apache 基金会公告（点击“阅读原文”查看） Apache InLong 的毕业，标志着业界首个一站式大数据集成 Apache 顶级项目诞生，也标志着第一个由腾讯捐献的 Apache 项目孵化成功，中国本土原生的顶级项目再增一员，恭喜 InLong 社区。Apache 软件基金会是专门为支持开源软件项目而办的一个

腾讯大数据

2022-06-24

3730

直播预告 | 腾讯新一代多维分析引擎MercsDB

api 云直播数据库 sql

6月11日9点，腾讯大数据将联合DataFun举办：多维分析架构峰会。腾讯数据平台部总监陈鹏将担任峰会的荣誉主席，计算平台组负责人陈奕安将担任峰会的主席。本次峰会共设置9大主题论坛，来自腾讯的技术专家龙跃将担任新一代 MPP 数据库架构论坛出品人并作《腾讯新一代多维分析引擎MercsDB》主题分享。本次峰会精彩纷呈，内容上既涵盖了开源多维分析、新一代MPP数据库架构、数据湖分析型架构、实时多维分析等核心技术，也包含金融、互联网、交通、物流、工业、画像、营销等多个应用场景的实践经验。感兴趣的朋友欢迎预约直

腾讯大数据

2022-06-10

8620

星火计划 | 深“图”远算：解密图智能平台技术和应用实践

大数据云直播数据库

随着移动互联网的普及和 5G 时代的到来，图数据库在社交网络、安全风控、人工智能、⾦融科技、知识图谱等领域发挥着至关重要的作用。腾讯智能图数据平台涵盖图数据库、图计算、图可视化、图算法等技术，从普通的存储到海量的数据分析，是复杂数据处理和治理的有效利器。 4月12日晚19点，腾讯大数据星火计划技术沙龙第十二期准时开启线上直播。届时腾讯大数据图技术资深专家将会带来精彩的应用实践分享。感兴趣的小伙伴可直接加微信：xinghuojihua_01或扫下方二维码进群报名观看直播，一同学习、交流起来吧！

腾讯大数据

2022-04-11

4710

开源新发布 | Apache InLong(incubating) 进入1.0 时代！

apache 数据集成数据库数据分析 sql

点击蓝字关注 | 更多腾讯大数据资讯 Apache InLong（应龙）是一个一站式的海量数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，同时支持批和流，方便业务构建基于流式的数据分析、建模和应用。InLong 支持大数据领域的采集、汇聚、缓存和分拣功能，用户只需要简单的配置就可以把数据从数据源导入到实时计算引擎或者落地到离线存储。 1 Apache InLong (incubating) 简介 Apache InLong（应龙）是腾讯捐献给 Apache 社区的一站式海量数据集成框架，提供自动

腾讯大数据

2022-03-04

6980

智能计算时代 | SuperSQL基于监督学习模型的自适应计算提效能力

sql 数据库云数据库 SQL Server hive hadoop

点击蓝字关注我们更多咨询天穹SuperSQL是腾讯自研、基于统一SQL语言模型、面向机器学习智能调优、提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的Data Cloud上，业务方可以消费完整的数据生命周期（采集-存储-计算-分析-洞察），还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。目前，SuperSQL已经迈入智能计算时代，SuperSQL能够基于规则匹配(RBO)与代价估算(CBO)，利用不同算法智能地为不同用户SQL挑选最合适的执行引擎，极大地优化S

腾讯大数据

2022-03-03

9730

腾讯大数据平台自治能力探索

运维编程算法 java 大数据数据库

标题图来源：pexels 自治理念一、趋势在科幻电影中未来的太空飞船上往往有着人工智能角色，协助人类掌控飞船各方面的状况，或是为飞船上的每个乘客提供贴心的服务。这样的科幻场景离我们现实也不算太远，汽车的自动驾驶能力实际上就是这样一种智能化探索方向。而在我们所关心的大数据平台中，其实也急迫需要这样一个类似大脑的角色，以腾讯大数据平台现阶段的情况为例，我们有着10万+机器的存算集群，上面每天运行千万级别的离在线任务，我们的用户、大数据组件研发者、运维专家们可能会消耗不少精力去处理一些非业务逻辑相关的问

腾讯大数据

2021-12-31

1.4K0

大数据江湖十年：腾讯底层技术的进化往事

开源大数据数据库数据处理 sql

生活不可能像你想象得那么好，但也不会像你想象得那么糟。人的脆弱和坚强都超乎自己的想象。有时，我们可能脆弱得一句话就泪流满面，有时，也发现自己咬着牙走了很长的路。本文转载自：鹅厂技术派人们常说，腾讯因为微信，拿到了进入移动互联网时代的一张站票，但是在互联网数据像火山一样爆发的前夕，大数据何尝不是腾讯能够屹立顶级科技公司的另外一张隐性门票。去年9月份，腾讯云对外宣布其大数据平台的算力弹性资源池达500万核，每日分析任务数达1500万，每日实时计算次数超过40万亿，能支持超过十万亿维度的数据训练

腾讯大数据

2021-01-12

9030

【直播】星火计划|图数据库EasyGraph揭秘技术沙龙火热报名中

数据库大数据数据结构腾讯云开发者社区

导语：随着大数据的积累，数据间的联系更加复杂多样，传统单点分析技术逐渐难以满足业务需求，而能够存储海量、高效查询关系数据的图数据库，逐渐成为行业热门，且在社交、电商、金融、安全等领域得到广泛应用。 12月16日19:00-21:30，腾讯大数据星火计划系列技术沙龙第5期《图数据库EasyGraph揭秘》直播专场将于线上举办。本次沙龙，将为大家带来腾讯自研图数据库EasyGraph的相关技术讲解，同时分享落地实战经验，探讨图数据库技术的应用。想进一步了解图数据库领域前沿趋势的同学，就快来报名吧！活动详情及报

腾讯大数据

2020-12-14

8270

「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘

postgresql sql 数据库云数据库 SQL Server hive

导语：得益于调度单元是通用的SQL语句，SuperSQL能够做到与特定计算引擎解耦，也正因为此原因，SuperSQL只需专注在最优执行计划生成，并根据SQL具体类型选择最佳的计算引擎。天穹SuperSQL是腾讯自研的跨数据源、跨数据中心、跨计算引擎的大数据SQL引擎，能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。在腾讯整个天穹大数据图谱中，负责连接端与存储。数据源无论是关系型数据库、NoSQL还是大数据系统；数据存储无论是跨集群还是跨数据中心；数据计算无论是报表生成、分析挖掘

腾讯大数据

2020-06-16

2.9K0

TBase 应用接入指南

打包数据库 sql php java

上一篇:TBase Quick Start （请点击文章底部“阅读原文”查看）介绍了TBase的架构，源码的编译安装，集群运行状态、启动停止等。本篇将介绍应用程序如何连接TBase数据库进行建库、建表、数据导入、查询等操作。 TBase兼容所有支持Postgres协议的客户端连接，这里将详细介绍JAVA、C语言、shell语言、Python、PHP、Golang 这6种最常用的开发语言连接TBase的操作方法。 1、JAVA开发 1.1、创建数据表 import java.sql.Connection;

腾讯大数据

2019-12-03

5K0

TBase Quick Start

数据库 sql node.js https 网络安全

什么是TBase TBase是一个提供写可靠性，多主节点数据同步的关系数据库集群平台。你可以将TBase配置一台或者多台主机上，TBase数据存储在多台物理主机上面。数据表的存储有两种方式，分别是distributed或者replicated ，当向TBase发送查询 SQL时，TBase会自动向数据节点发出查询语句并获取最终结果。 TBase采用分布式集群架构（如下图），该架构分布式为无共享(share nothing)模式，节点之间相应独立，各自处理自己的数据，处理后的结果可能向上层汇总或在节点间

腾讯大数据

2019-11-18

1.7K0

SuperSQL：跨数据源、跨DC、跨执行引擎的高性能大数据SQL中间件

云数据库 SQL Server sql spark 数据库 jdbc

导语：SuperSQL是腾讯数据平台部自研的跨数据源、跨数据中心、跨执行引擎的统一大数据SQL分析平台/中间件，支持对接适配多类外部开源SQL执行引擎，如Spark、Hive等。背景 SuperSQL是一款自研的跨数据源、跨数据中心、跨执行引擎的高性能大数据SQL中间件，满足对位于不同数据中心的不同类型数据源的数据联合分析/即时查询的需求。SuperSQL的目标是成为公司内部统一的SQL分析中间件，实现以下三点的价值：解决业务数据孤岛，最大化数据的使用价值执行引擎最优选择，提升业务使用数据效率优化

腾讯大数据

2019-09-26

3.5K0

拯救DBA，会说话的数据库 | 8月28日揭秘

数据库 sql 云直播

云和AI，为数据库的进化提供了无限可能。从“数据库+云”到“云+数据库”，腾讯云重新定义数据库云服务。 8月28日，腾讯云数据库将举办战略升级发布会，发布系列重磅新品。腾讯20年数据沉淀和数十位顶尖专家不断优化改进，让数据库会说话，彻底解放DBA，开启“实时、简单、便捷、高效”管理数据库的新时代！现场特邀中国计算机行业协会开源数据库专委会会长周彦伟、DBAplus社群联合创始人韩锋共同探讨如何融合云和AI的能力让数据库变得更加“智能”“稳定”“可靠”“安全”，共话未来数据库场景。发布时间 8月28日

腾讯大数据

2019-08-26

4800

活动报名丨数据库技术探索及行业应用

微信数据库 postgresql sql 图片加速

数据是企业的核心资产，数据库作为数据的载体，承担着至关重要的角色。它的性能、稳定性、可靠性、容灾以及安全成为企业应用的首要考量要素。数据库从技术上是如何实现以及实际中是如何服务于各个行业的呢？我们邀请到了数据库领域的各位大咖，为您详解目前主流数据库的技术，以及在各行业的应用实践。活动时间 8月24日周六 13:00-18:00 活动地点广东省深圳市南山区高新园飞亚达科技大厦-5L 报名二维码议题介绍 PostgreSQL各版本功能演进及未来版本特性展望演讲嘉宾：张文升 -《Post

腾讯大数据

2019-08-13

1.6K0

腾讯HTAP数据库TBase分布式事务揭秘

分布式 mvc TDSQL MySQL 版数据库 sql

TBase是一款腾讯自研高性能HTAP数据库，提供高性能的OLTP和OLAP能力，同时保证可扩展全局一致性分布式事务（ACID）。在OLTP方面，TBase采用MVCC+全局时钟+2PC+SSI的方式来实现全局一致性分布式事务，同时引入大量性能优化的设计来减少全局事务带来的开销。在小规模集群上，TBase能够提供超过300万TPMTotal的事务处理吞吐量（工业界标准TPCC测试集）。本篇文章先介绍TBase的架构体系和数据库事务的基本原理，然后介绍学术界最先进的分布式事务设计方案，最后阐述我们

腾讯大数据

2019-08-07

2.7K0

关注这些腾讯公号，助你走上人生巅峰（送价值万元的福利）

sql 数据库 javascript 费用中心

来了？鹅厂小编们等你很久了！咱们闲话少叙，今天，10位小编携手为你奉上10份超级大礼：书籍、技术教程、鹅厂公仔、腾讯云代金券……每位朋友都可以免！费！参与抽奖！ 01 技术书籍本次奖池涵盖数据分析、人工智能、编程等多个领域。一份技术人获益的典藏书单，强烈推荐，借助书籍希望大家能够由浅入深、循序渐进的学习新知，事半功倍，少走弯路。赠送书单明细请翻至文末查看哦~ 02 实战教程鹅厂资深数据库专家录制的数据库实战视频课程，教你从青铜到王者学习数据库；小程序云开发教程，含源码，教你7天打造流量过亿的小程序，

腾讯大数据

2019-06-19

3.6K0

最佳实践：腾讯HTAP数据库TBase助力某省核心IT架构升级

postgresql 分布式数据库 TDSQL MySQL 版 sql

数据存储和处理是一个古老而重要的技术，从远古时期的结绳记事到古人的文本记事，再到计算机诞生后的各种系统，直到E.F.Codd提出关系模型，人类终于有了一种相对高效而统一的数据处理系统——关系数据库。在传统的关系数据处理系统中，习惯把系统按照业务特点分为在线事务处理系统(OLTP)和在线分析处理(OLAP)，一般意义上OLTP关注实时在线业务，要求低延时，高吞吐量，总体数据量一般不会特别大；而OLAP系统用来处理大规模数据的报表分析，要求低响应时间。两者因为数据量，查询请求，业务要求的不用，加上之前

腾讯大数据

2019-05-16

6270

最佳实践：腾讯HTAP数据库TBase助力某省核心IT架构升级

postgresql 分布式数据库 TDSQL MySQL 版 sql

数据存储和处理是一个古老而重要的技术，从远古时期的结绳记事到古人的文本记事，再到计算机诞生后的各种系统，直到E.F.Codd提出关系模型，人类终于有了一种相对高效而统一的数据处理系统——关系数据库。

腾讯大数据

2019-03-20

8560

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态