腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

323

文章

451717

阅读量

124

订阅数

大索引技术，大数据的未来

大数据存储容器镜像服务 hive spark

不管你信也好，不信也好，大数据时代真的来临了，随着Hadoop技术的普及，其生态圈发展的越来越壮大，Hive、Hbase、Spark、Storm等的一系列新名词不断的涌现在我们的眼里。似乎NoSQL一夜间，攻陷了全部的大数据阵地。那么传统的关系型数据库的一些思路，真的没有用武之地了么？真的就一去不复返了么？当大数据技术大旗在每个山头摇摆的时候，我们躲在角落里还能做些什么？“索引”，没错，数据库时代的必杀，大数据的利器。当大数据使用上大索引后有什么好处？ 1. 索引技术大幅度的加快数据的检索速度。 2.

腾讯大数据

2023-03-04

2630

智能计算时代 | SuperSQL基于监督学习模型的自适应计算提效能力

sql 数据库云数据库 SQL Server hive hadoop

点击蓝字关注我们更多咨询天穹SuperSQL是腾讯自研、基于统一SQL语言模型、面向机器学习智能调优、提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的Data Cloud上，业务方可以消费完整的数据生命周期（采集-存储-计算-分析-洞察），还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。目前，SuperSQL已经迈入智能计算时代，SuperSQL能够基于规则匹配(RBO)与代价估算(CBO)，利用不同算法智能地为不同用户SQL挑选最合适的执行引擎，极大地优化S

腾讯大数据

2022-03-03

9730

天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级？

sql hive 大数据缓存

天穹SuperSQL是腾讯自研，基于统一的SQL语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的Data Cloud上，业务方可以消费完整的数据生命周期，从采集-存储-计算-分析-洞察。还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 Presto在腾讯天穹SuperSQL大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。Presto服务了腾讯内部的不同业务场景，包括微信支付、QQ、游戏等关键业

腾讯大数据

2022-01-23

1.7K0

新手教学 | Apache InLong 使用 Apache Pulsar 创建数据入库

apache hive https 网络安全编程算法

导语：Apache InLong 增加了通过 Apache Pulsar 接入数据的能力，充分利用了 Pulsar 不同于其它 MQ 的技术优势，为金融、计费等数据质量要求更高的数据接入场景，提供完整的解决方案。在下面的内容中，我们将通过一个完整的示例介绍如何通过 Apache InLong 使用 Apache Pulsar 接入数据。 Apache InLong(incubating) 简介 Apache InLong（应龙 https://inlong.apache.org）是腾讯捐献给 Apa

腾讯大数据

2021-12-31

1.1K0

Apache InLong重磅发布 0.10.0 版本，着力降低用户使用门槛

apache hive 大数据数据处理编程算法

导语：Apache InLong 以腾讯内部使用的TDBank为原型，依托万亿级别的数据接入和处理能力，整合了数据采集、汇聚、存储、分拣数据处理全流程，拥有简单易用、灵活扩展、稳定可靠等特性。 Apache InLong(孵化中) 刚刚发布了 0.10.0 版本，该版本是升级为 InLong（中文名：应龙）后的第二个版本，着力解决InLong应用门槛高问题。该版本吸引腾讯内外 10 多位开发者参与，关闭超过 120 个issue，开发超过 8 个重要Feature。 Apache InLong简介

腾讯大数据

2021-09-18

6440

开箱即用，腾讯数据湖计算为海量数据分析赋能

hive sql 私有网络容器服务 serverless

导读 / Introduction 数据湖解决了海量异构数据的入湖和存储需求。通过对海量数据的分析挖掘，提升对数据的洞察，助力数字化决策，进而促进业务发展，是每个企业构建数据湖的根本目的所在。随着业务迭代的不断加速，企业对数据时效性和数据分析敏捷性提出了更高的要求。为此，腾讯云推出了数据湖计算(Data Lake Compute，DLC)。DLC采用存储和计算分离的架构，结合腾讯云对象存储COS和弹性容器服务EKS，打造了一个开箱即用、弹性扩展、按量付费的交互式分析服务。图1 DLC架构图高性

腾讯大数据

2021-05-13

1.4K0

《你问我答》第四期 | 进一步讲解SuperSQL、Oceanus以及Tbase

flink hive 大数据云数据库 SQL Server 运维

各位小伙伴们大家好，我们又见面啦~ 这里是《你问我答》栏目第四期上周推送了一篇关于腾讯SuperSQL的文章《「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘》很多同学对这个项目产生了浓厚的兴趣本期，我们的专家老师将现身说法进一步为大家介绍腾讯大数据SQL引擎天穹SuperSQL的性能表现同时，也会解答小伙伴们关于腾讯一站式实时计算平台Oceanus 以及分布式 HTAP 数据库管理系统Tbase 的部分疑问对这些话题感兴趣的同学就快来看看吧！ 01 @旧故里草木深：

腾讯大数据

2020-06-22

1.1K0

「解耦」方能「专注」——腾讯天穹SuperSQL跨引擎计算揭秘

postgresql sql 数据库云数据库 SQL Server hive

导语：得益于调度单元是通用的SQL语句，SuperSQL能够做到与特定计算引擎解耦，也正因为此原因，SuperSQL只需专注在最优执行计划生成，并根据SQL具体类型选择最佳的计算引擎。天穹SuperSQL是腾讯自研的跨数据源、跨数据中心、跨计算引擎的大数据SQL引擎，能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。在腾讯整个天穹大数据图谱中，负责连接端与存储。数据源无论是关系型数据库、NoSQL还是大数据系统；数据存储无论是跨集群还是跨数据中心；数据计算无论是报表生成、分析挖掘

腾讯大数据

2020-06-16

2.9K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态