数据引擎介绍

最近更新时间:2024-05-11 14:45:41

我的收藏
DLC 的数据引擎是 DLC 的数据分析计算服务的基础,用户在 DLC 进行的所有计算都需要使用数据引擎。根据用户的使用场景不同,可选择对应的引擎类型。

引擎类型

DLC 中提供2种数据引擎类型供用户选择:标准引擎SuperSQL 引擎,两类引擎核心区别是支持的 SQL 语法不同。其中标准引擎使用社区原生的 Spark 及 Presto 语法;SuperSQL 引擎支持 DLC 自研的统一语法,即同一套 SuperSQL 语法可在 Spark 及 Presto 引擎运行,屏蔽引擎间语法差异,在需联合使用不同分析引擎的业务场景下可显著降低使用成本。两类引擎主要特点及选购建议如下:
 引擎类型
可选类型
主要特点
使用约束
选购建议
标准引擎
Spark
Presto
原生语法:Spark/Presto 社区原生语法,学习、迁移成本低
使用灵活:支持 Hive JDBC 及 Presto JDBC
一体化 Spark:标准 Spark 引擎可执行 SQL及 Spark 批任务
需购买 接入点
1. 需使用 Spark/Presto 原生语
2. 希望购买一个 Spark 引擎完成批作业及离线 SQL 任务
3. 希望使用 Hive JDBC 及Presto JDBC
SuperSQL 引擎
SparkSQL
Spark 作业 Presto
统一语法:同一套语法适用于 Spark 及 Presto 引擎
支持联邦查询
需学习 SuperSQL 统一语法 SQL/批任务场景建议购买对应类型引擎
1. 希望使用 Spark + Presto 统一语法
2. 需要使用联邦查询
更详细的信息请参考以下对比表格,或查看标准 标准引擎SuperSQL 引擎说明

标准引擎和 SuperSQL 引擎详细对比

功能
标准引擎
SuperSQL 引擎
说明
presto
两类引擎均支持 presto 引擎。
spark
SuperSQL 引擎分为 SparkSQL 和 Spark 作业类型,其中 SparkSQL 引擎支持 SQL 作业,Spark 作业引擎支持 Spark 批流作业和 SQL 作业;标准引擎为一体化 Spark 引擎。
原生语法
统一语法
标准引擎支持 spark 及 presto 原生语法。
SuperSQL 引擎支持 DLC 自研的统一语法。
接入点
DLC 基于 Apche Kyuubi 自研的 Serverless 接入点服务,提供了更稳定、更安全及更高性能的任务提交体验。
资源组
资源组是标准 Spark 引擎特有的队列功能,通过资源组可将标准引擎资源进行按需划分,SQL 任务可以提交到指定的资源组执行。
共享引擎
SupersSQL 引擎支持共享模式,适合分析频率低、计算数据量较小的场景使用。
Hive JDBC
标准引擎支持使用 Hive JDBC 提交任务。
标准引擎支持使用 Presto JDBC 提交任务。
DLC JDBC
两类引擎均支持使用 DLC JDBC 提交任务。
云 API 提交任务
两类引擎均支持使用云 API 提交任务或者在控制台数据探索页面提交任务。
联邦查询
SuperSQL 引擎提供数据联邦查询分析能力,添加联邦查询数据目录操作指南可参见 数据目录及数据库管理。标准引擎暂时不支持联邦查询。
如果您对于选择标准引擎或者 SuperSQL 引擎还有疑问,可以 提交工单 联系我们。

引擎定价

数据引擎支持包年包月和按量付费。更多信息,请参见 计费概述

约束限制

数据引擎的名称全局唯一且无法修改。
不支持切换数据引擎的计费模式。
数据引擎不支持切换地域。