Apache Calcite 功能简析及在 Flink 的应用

Calcite 是什么?

Apache Calcite 是一个动态数据的管理框架,可以用来构建数据库系统的语法解析模块

• 不包含数据存储、数据处理等功能

• 可以通过编写 Adaptor 来扩展功能,以支持不同的数据处理平台

• Flink SQL 使用并对其扩展以支持 SQL 语句的解析和验证

Calcite 谁在用?

下图是一张官方提供的生态系统图,可以看到大名鼎鼎的 Hive、Flink、Druid 以及 Spark、ES 等都可以被纳入 Calcite 生态圈。

Calcite 生态圈

概念解析

Calcite 概念
  1. 关系代数(Relational algebra):即关系表达式。它们通常以动词命名,例如 Sort, Join, Project, Filter, Scan, Sample.
  2. 行表达式(Row expressions):例如 RexLiteral (常量), RexVariable (变量), RexCall (调用) 等,例如投影列表(Project)、过滤规则列表(Filter)、JOIN 条件列表和 ORDER BY 列表、WINDOW 表达式、函数调用等。使用 RexBuilder 来构建行表达式。
  3. 表达式有各种特征(Trait):使用 Trait 的 satisfies() 方法来测试某个表达式是否符合某 Trait 或 Convention.
  4. 转化特征(Convention):属于 Trait 的子类,用于转化 RelNode 到具体平台实现(可以将下文提到的 Planner 注册到 Convention 中). 例如 JdbcConvention,FlinkConventions.DATASTREAM 等。同一个关系表达式的输入必须来自单个数据源,各表达式之间通过 Converter 生成的 Bridge 来连接。
  5. 规则(Rules):用于将一个表达式转换(Transform)为另一个表达式。它有一个由 RelOptRuleOperand 组成的列表来决定是否可将规则应用于树的某部分。
  6. 规划器(Planner) :即请求优化器,它可以根据一系列规则和成本模型(例如基于成本的优化模型 VolcanoPlanner、启发式优化模型 HepPlanner)来将一个表达式转为语义等价(但效率更优)的另一个表达式。

整体模块和处理流程

Catalog – 定义元数据和命名空间,包含 Schema(库)、Table(表)、RelDataType(类型信息)

Catalog 说明

SQL Parser – 将用户编写的 SQL 语句转为 SqlNode 构成的抽象语法树(AST)

  • 通过 JavaCC 模版生成 LL(k) 语法分析器,主模版是 Parser.jj;可对其进行扩展
  • 负责处理各个 Token,逐步生成一棵 SqlNode 组成的 AST
Parser 模板

SQL Validator – 使用 Catalog 中的元数据检验上述 SqlNode AST 并生成 RelNode 组成的 AST

• Query Optimizer – 将 RelNode AST 转为逻辑计划,然后优化它,最终转为实际执行方案。以下是一些常见的优化规则(Rules):

  1. 移除未使用的字段
  2. 合并多个投影(projection)列表
  3. 使用 JOIN 来代替子查询
  4. 对 JOIN 列表重排序
  5. 下推(push down)投影项
  6. 下推过滤条件
优化规则示例: 下推

整体而言,Calcite 处理流程整体可以分为 Parse(语法和语义解析,生成 SqlNode 树)、Validate(验证各对象是否已在 Catalog 中注册)、Optimize(优化、生成 RelNode 树以及物理执行计划)、Execute(具体执行)四个阶段。

流处理语句支持现状

Calcite 支持部分 SQL 流处理语句,也提供了对 Tumbling / Hopping / Sliding / Cascading 等类型 Window 的支持,而 Flink 则把 Window 分为 Tumbling、Sliding (Hopping in SQL)、Session、Global 等类型,与 Calcite 提供的并不完全一致。

目前 Calcite 流处理语句已实现对 SELECT, WHERE, GROUP BY, HAVING, UNION ALL, ORDER BY 以及 FLOOR, CEIL 函数的支持。

其他的操作例如 JOIN, LIMIT 等仍然不支持。具体情况参见 https://calcite.apache.org/docs/stream.html

Flink 与 Calcite

下图是 Flink 系统结构,其中 Table API 与 SQL 模块以 Calcite 为核心,大量用到 Calcite 的各种类和方法。

Flink 系统结构

下图是 Flink Table 模块的内部表示。

可以看到它以 Calcite Catalog 为核心,上面承载了 Table API 和 SQL API 两套表达方式,最后殊途同归,统一生成为 Calcite Logical Plan(SqlNode 树);随后验证、优化为 RelNode 树,最终通过 Rules(规则)和 Convention(转化特征)生成具体的 DataSet Plan(批处理)或 DataStream Plan(流处理),即 Flink 算子构成的处理逻辑。

Flink Table 模块功能图

下图是 SQL 和 Table API 两种表达形式的处理逻辑,上下两种是等价的:

Flink Table API / SQL 转换流程示例

总而言之,Table / SQL API 的编程框架如下

1. 通过 TableEnvironment 配置 CalciteConfig 对象,自动设置 SQL & Table API 默认处理参数。

2. 使用 registerTableSource() 来将一个 TableSource 注册到 rootSchema. 后续可以通过 scan() 获取此 Table 并调用各种 Table API 进行处理。

3. 接下可以调用 sqlQuery() 和 sqlUpdate() 方法来使用 SQL 语句进行数据处理。

运行时 Demo

下面的案例展示了对一句 SQL 查询的中间和最终处理结果:

SQL 语句、生成的 AST、优化后的逻辑计划、最终物理计划
Flink 生成的执行计划

参考阅读

Stream Processing for Everyone with SQL and Apache Flink

Flink 原理与实现:Table & SQL API

Streaming SQL in Apache Flink, KSQL, and Stream Processing for Everyone

Table API & SQL

Introduction to Apache Calcite

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据和云

【新特性视频第2期】关于IMEU与Expression Statistics Store

新特性5分钟,带你循序渐进了解Oracle 12.2的最新特性。优秀就是每天进步一点点。 上一期视频回顾: 【视频】In Memory的内部结构和实现机制 {...

2649
来自专栏祝威廉

为Spark Deep Learning 集成

昨晚睡了12小时,早上起来神清气爽,索性把之前提的一个Issue:Is there any plan to port TensorframeOnSpark(Fr...

721
来自专栏杨建荣的学习笔记

同样的sql执行结果不同的原因分析 (r4笔记第27天)

今天开发的同事问我一个问题,说有一个sql语句,在weblogic的日志中执行没有结果,但是手动拷贝数据到客户端执行,却能够查到。这种奇怪的问题一下子就能引起我...

2838
来自专栏牛客网

百度云部门 C++面试

14)读套接口时候返回0,时候时候产生EAGIN。【EAGIN也不太清楚,知道又这个玩意,不知道具体的,应该直接说不知道】

992
来自专栏ASP.NET MVC5 后台权限管理系统

ASP.NET MVC5+EF6+EasyUI 后台管理系统(71)-微信公众平台开发-公众号管理

思维导图 下面我们来看一个思维导图,这样就可以更快了解所需要的功能: ? 上一节我们利用了一个简单的代码例子,完成了与微信公众号的对话(给公众号发一条信息...

2607
来自专栏杨建荣的学习笔记

缓慢的update语句性能分析(r6笔记第61天)

最近处理一个问题的时候,先是收到DB time升高的报警,然后查看DB time的情况发现,已经有近1000%的负载了。 ? 带着好奇心想看看到底是什么样的...

2685
来自专栏乐沙弥的世界

共享池的调整与优化(Shared pool Tuning)

--=======================================

682
来自专栏社区的朋友们

SRF & SPP 源码走读

关于 SPP 的解读已经很多,本文尝试从另外的角度解读SRF&SPP;的源码。本文所涉及SRF代码皆以3.1.8版本,SPP代码皆以3.0.1版本为准。

1K0
来自专栏DOTNET

学会WCF之试错法——客户端调用基础

1当客户端调用未返回结果时,服务不可用(网络连接中断,服务关闭,服务崩溃等) 客户端抛出异常 异常类型:CommunicationException Inne...

2668
来自专栏西安-晁州

GraphQL介绍&使用nestjs构建GraphQL查询服务

GraphQL介绍&使用nestjs构建GraphQL查询服务(文章底部附demo地址) GraphQL一种用为你 API 而生的查询语言。出自于Faceboo...

4119

扫码关注云+社区