引擎内核版本

最近更新时间:2024-07-22 15:01:11

我的收藏
DLC 根据不同应用场景提供了不同的内核版本,并针对内核做了大量的特性和性能优化,内核版本一览如下所示。
如果您的场景主要为交互式查询,推荐使用 Presto 引擎和 SparkSQL 引擎和最新的内核版本。
如果您的场景主要使用批作业,推荐使用 Spark 作业引擎和 Spark3.2 内核版本。
引擎类型
内核版本
说明
Presto
SuperSQL-P 1.0
基于原生 Presto 0.242 版本实现,在此基础上支持动态加载数据源、Dymanic Filter 增强、 Iceberg V2 表、非分区表的 INSERT OVERWRITE、支持执行 Hive UDF。
SparkSQL
SuperSQL-S 1.0
基于原生 Spark3.2 版本实现,在此基础上支持 Iceberg 1.1.0、Hudi 0.12.0、自适应 Shuffle Manager。
SuperSQL-S 1.0(Native)
基于原生 Spark3.2 版本实现,在此基础上支持 Iceberg 1.1.0。当前版本为 beta 版本,使用腾讯云 Meson Engine 提供的 Native 运行时环境,使用向量化等技术加速 SQL 类应用执行性能,在部分场景性能较 SuperSQL 1.0 版本可带来 2 倍以上性能提升。
SuperSQL-S 3.5
基于原生 Spark3.5 版本实现,在此基础上支持 Iceberg 1.5.0、自适应 Shuffle Manager。
当前版本为 beta 版本,在部分场景性能较 SuperSQL 1.0 版本有33%以上的性能提升。
SparkBatch
Spark 3.5
基于原生 Spark3.5 版本实现,在此基础上支持 Iceberg 1.5.0、Python3、自适应 Shuffle Manager。
当前版本为 beta 版本,在部分场景性能较 Spark 3.2 有33%以上的性能提升。
Spark 3.2
基于原生 Spark3.2 版本实现,在此基础上支持 Iceberg 1.1.0、Hudi 0.12.0、Python3,支持自适应 Shuffle Manager。
Spark 3.2(Native)
基于原生 Spark3.2 版本实现,在此基础上支持 Iceberg 1.1.0。当前版本为 beta 版本,使用腾讯云 Meson Engine 提供的 Native 运行时环境,通过向量化等技术加速 SQL 类应用执行性能,在部分场景性能较 Spark 3.2 可带来 2 倍以上性能提升。
Spark 2.4
基于原生 Spark2.4 版本实现,在此基础上支持 Iceberg 0.13.1、Python2、Python3。