首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
首页标签大数据处理套件 TBDS

#大数据处理套件 TBDS

安全、易用的一站式大数据处理平台

Calcite系列(十一):物化视图

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

物化视图(Materialized View):是一种特殊的物理表,本质是预计算,是多个计算过程之间的联系建立。从数据组织层面优化数据访问效率,即把某些耗时的操...

4160

Calcite系列(十):执行流程-计划树执行

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

计划树执行是SQL处理的第五步,也称为Implementor执行实现。Calcite主要提供两种Implementor实现方式:RelImplemntor 和 ...

6150

Calcite系列(九):执行流程-优化器优化

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

优化器优化是SQL处理的第四步,也是最核心的一步,优化器优化本质是基于优化规则实现关系代数等价转换。

17360

Calcite系列(八):执行流程-计划树构建

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

计划树构建是SQL处理的第三步,构建出可关系代数优化的逻辑计划树RelNode,是优化器执行优化的前提。

17560

Calcite系列(七):执行流程-合法性校验

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

合法性校验是SQL处理的第二步,在计算执行前,提前验证SQL正确性。该验证操作是非线性的,需要基于语法树处理各种嵌套的复杂情况。Calcite合法性校验基于Sq...

12330

Calcite系列(六):执行流程-语法解析

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

目前广泛使用的语法解析框架主要包括ANTLR、JavaCC和Yacc等。在大数据领域中,很多计算引擎都是基于ANTLR进行语法解析,例如 Hive、Spark和...

28570

Calcite系列(五):执行流程-概览

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

SQL执行流程有一套通用的步骤,尽管具体的实现可能会因数据库系统的不同而有所差异,但流程相对固定。以下是通用的SQL处理流程:

19160

Calcite系列(四):核心概念-Adapter

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

Calcite作为SQL中间件,为提供扩展性并适配不同数据源,提供了Adapter(适配器)方式对接数据源并根据数据源特性进行查询优化。

21050

Calcite系列(三):核心概念-Convention

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

Convention:Calcite设计的核心概念,代表一类特定的数据源或执行引擎,基于Convention可生成与具体数据源或者引擎相关的执行计划。Calci...

17440

Calcite系列(二):核心概念-关系代数

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

关系模型是一种用于数据库管理的理论框架,其基础建立在数学的集合论之上。该模型由Edgar F. Codd 于1970年提出,旨在以一种严格且理论化的方式来描述数...

23670

Calcite系列(一):背景介绍

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

Apache Calcite是一款开源的动态数据管理框架,提供了标准的 SQL 语言、查询优化和连接各种数据源的能力,但不包括数据存储、处理数据的算法和存储元数...

26991

知识图谱中的数据服务是什么?

用户10685580

随着信息时代的飞速发展,数据已经成为了各行各业的重要资源。知识图谱作为大数据时代的一种新型数据组织形式,能够将分散、无序的数据进行结构化处理,并建立起相互之间的...

10110

全球 30 米不透水表面动态数据集 (GISD30)

此星光明

全球 30 米不透水表面动态数据集 (GISD30) 为了解 1985 年至 2020 年全球不断变化的不透水表面景观提供了宝贵的资源。该数据集在城市可持续发展...

9910

2001 年至 2020 年,全球陆地表面温度 (Ts) 和近地面气温 (Ta)数据集

此星光明

本研究中介绍的全球无缝高分辨率温度数据集(GSHTD)为各领域的研究人员提供了全面而宝贵的资源。该数据集涵盖 2001 年至 2020 年,主要关注陆地表面温度...

19810

大数据Doris(一):Doris概述篇

Lansonli

Doris由百度大数据部研发,之前叫百度Palo,于2017年开源,2018年贡献到 Apache 社区后,更名为Doris。

2.9K10

CDC实时数据同步工具选型比较

用户7966476

CDC实时数据同步指的是Change Data Capture(数据变更捕获)技术在数据同步过程中的应用。CDC技术允许在数据源发生变化时,实时地捕获这些变化,...

1.3K20

2023最值得推荐的4款免费ETL工具

用户7966476

ETL流程是数据仓库建设的核心环节,它涉及从各种数据源中抽取数据,经过清洗、转换和整合,最终加载到数据仓库中以供分析和决策。在数据仓库国产化的背景下,ETL流程...

1.8K50

Beautifulsoup解析库使用实际案例

小白学大数据

爬虫,是学习Python的一个有用的分支,互联网时代,信息浩瀚如海,如果能够便捷的获取有用的信息,我们便有可能领先一步,而爬虫正是这样的一个工具。之前的的文章中...

15530
领券