引擎内核动态

最近更新时间:2024-09-27 16:37:31

我的收藏
您可以通过引擎详细页面的“内核管理”根据操作时间可以判断当前所属版本(或者查看当前引擎的详细版本),辅助您判断当前引擎是否支持哪些功能,或者存在哪些已经发现的风险点。




SuperSQL 1.0 vs SuperSQL 3.5 或 Spark 3.2 vs Spark 3.5兼容性

为了方便您评估从 SuperSQL 1.0 升级到 SuperSQL 3.5,或者从 Spark 3.2 升级到 Spark 3.5,这里整理了两个版本之间目前已知的一些可能影响较大的差异点,方便您评估是否可以平滑升级。
可以参考 Spark3.2 升级到 Spark3.5.1 的详细差异:https://spark.apache.org/docs/latest/sql-migration-guide.html
类别
差异点
SuperSQL 1.0 / Spark 3.2
SuperSQL 3.5 / Spark 3.5
社区行为
SQL 算子
涉及到 sort 相关的算子,例如 order by
2023.10月及以前版本默认为 nulls last
2023.11月及以后版本默认为 nulls first
默认为 nulls first
2024.8月及以后的版本支持通过参数配置
配置项:spark.dlc.extensions.scope=null_order_rules,functions。开启 null_order 可配置
spark.sql.defaultSortNullOrdering=nullsLast。指定null顺序
社区行为为 nulls first
SQL 函数
to_char 函数
2023.12月及以前版本不支持
2023.12月及以后版本支持数字格式转换,拓展了时间格式转换(即date_format 函数功能)
支持数字格式转换,拓展了时间格式转换。可修改spark.dlc.extensions.scope=functions(默认开启)为 none 使用社区函数。
社区仅支持数字格式转换
UI
Session 级参数展示
无法从 UI 里查看 Session 级参数
可以从 SQL DataFrame 页面查看当前任务执行时的 Session 级参数


2024-09-26

引擎类型
内核版本(大版本)
内核版本 ID(仅列出北上广地域)
更新描述
标准引擎
Standard-S 1.1
(Spark 3.5内核)
新版本,相比于 Standard-S 1.0 升级 Spark 内核,并支持以下功能:
1、支持联邦 Doris 读写;
2、修复 Mysql 升级后无法联邦的问题;
3、增加 data mask 函数;
4、spark ui 支持北极星,并修复ui oom问题;
5、支持配置 Create 语句默认表格式为Iceberg;
6、修复 function 扩展配置失效的问题;
7、新增优化规则(ConvertInnerToSemiJoins/AggregatePushDownThroughJoins/EliminateInnerJoinWithAgg);
8、修复 DateDiff 函数无法支持 codegen 问题;
9、删除 committer 相关配置;
10、修复 polaris 导致任务执行完成后无法关闭、启动慢的问题;
11、删除 iceberg-hive-runtime 包;
12、kyuubi 相关:支持 timestamp_ntz 类型、jupyter 连接标准引擎失败问题修复、更新kyuubi 监听器。
SuperSQL
SuperSQL 1.0
广州:4dc13fd6-e1ea-41d6-8a6e-cafb55d4be7f
上海:0721c3db-1454-4b7b-aac2-c0b990cc1dee
北京:30f39b17-aa8b-40c9-9a1b-39b819bb32d4
1、支持联邦 Doris 读写;
2、修复 Mysql 升级后无法联邦的问题;
3、增加 datamask 函数;
4、修复 t265 迭代存在 Iceberg 内存泄露问题;
5、修复 DateDiff 函数无法支持 codegen 问题;
6、删除 committer 相关配置。
SuperSQL 3.5
广州:be7e4afe-ba87-42e1-bdfb-cb5c7e372825
上海:7be45a56-5b00-44ba-bb12-7f26fb5ee217
北京:d281ccaf-cae5-4a11-82c7-dfc5e4ea95ef

1、支持联邦 Doris 读写;
2、修复 Mysql 升级后无法联邦的问题;
3、增加 datamask 函数;
4、修复 t265 迭代存在 Iceberg 内存泄露问题;
5、修复 DateDiff 函数无法支持 codegen 问题;
6、删除 committer 相关配置。
Spark
3.2
广州:4967a9a4-642f-4c3a-b04e-78c28381811a
上海:faaf9906-7e9d-4c7d-9d70-77080f7837ed
北京:de9e946b-c271-481a-93a0-b963dfd4ebc6
1、支持联邦 Doris 读写;
2、修复 Mysql 升级后无法联邦的问题;
3、增加 datamask 函数;
4、修复 t265 迭代存在 Iceberg 内存泄露问题;
5、修复 DateDiff 函数无法支持 codegen 问题;
6、删除 committer 相关配置。
3.5
广州:81eaa585-0c68-46da-b3aa-d1c7d0067776
上海:2b99949e-b347-46d6-80f6-8d8cfbab0351
北京:2fdb3b08-07bf-49ee-a9fd-aa5bb2ae3ae3
1、支持联邦 Doris 读写;
2、修复 Mysql 升级后无法联邦的问题;
3、增加 datamask 函数;
4、修复 t265 迭代存在 Iceberg 内存泄露问题;
5、修复 DateDiff 函数无法支持 codegen 问题;
6、删除 committer 相关配置。

2024-08-15

引擎类型
内核版本(大版本)
内核版本 ID(仅列出北上广地域)
更新描述
SuperSQL
SuperSQL 1.0
北京:6483c7f7-8b0e-42e5-84c7-431a8c402c77
上海:c8cdcc18-e424-4ea0-ba68-1d4f6eec774c
广州:f405a51b-1bc3-47df-adb5-a2aa6bcb0e9e
1、实现 Spark hive write 全局 Repartition,支持小文件合并;
2、sort nullOrder可参数配置;
3、修复查询重名列与 unionall 一起使用存在数据错误问题;
4、新增 hive iceberg runtime 依赖包;
SuperSQL 3.5
北京:f17b701e-3e8e-4a5a-8d3c-26acd3c702bd 上海:8778b043-980b-4dae-8b33-aca10128e972
广州:fe541a8f-d923-4254-b7c0-1babe33a5d37
1、实现 Spark hive write 全局 Repartition,支持小文件合并;
2、sort nullOrder 可参数配置;
3、修复查询重名列与 unionall 一起使用存在数据错误问题;
4、新增 hive iceberg runtime 依赖包;
Spark
3.2
北京:25e2f5ee-b459-4775-be0d-10541c147a74
上海:de76ad64-b014-427f-9c40-27c8677ac445
广州:69a0cfd0-f2db-450d-a7b6-0eb05a8f47c8
1、实现 Spark hive write 全局 Repartition,支持小文件合并;
2、sort nullOrder 可参数配置;
3、修复查询重名列与 unionall 一起使用存在数据错误问题;
4、新增 hive iceberg runtime 依赖包;
3.5
北京:705f2381-2b77-4b53-be41-189bad99bca6
上海:e7f2c886-5f3b-4b99-8385-daedf81ec758
广州:66834c28-855a-4bb6-8419-e7c73ebcc73c
1、实现 Spark hive write 全局 Repartition,支持小文件合并;
2、sort nullOrder 可参数配置;
3、修复查询重名列与 unionall 一起使用存在数据错误问题;
4、新增 hive iceberg runtime 依赖包;

2024-07-17

影响范围:全地域更新
引擎类型
内核版本(大版本)
内核版本 ID(仅列出北上广地域)
更新描述
SuperSQL
SuperSQL 1.0
北京:8d983ad5-08c3-4252-b2ca-fb76e31342af
上海:8b00d420-3514-4b2d-94be-69bda8f145bd
广州:f2a18e86-c69c-48d9-a402-775f4a9c629a
1、升级 hadoop-cos 到8.3.9,修复 cos 普通桶读取可能导致任务卡住的问题。
2、默认打开洞察的事件采集。
SuperSQL 3.5
北京:f5e50777-944b-4c2a-bf65-f378e875dff1 上海:56589b24-2f80-4a19-89e7-fd8fd147daae
广州:abbbe6c9-cbc8-476d-ae70-38832cee30be
1、升级 hadoop-cos 到8.3.9,修复 cos 普通桶读取可能导致任务卡住的问题。
2、修复联邦默认 hive catalog 配置的问题。
3、默认打开洞察的事件采集。
SuperSQL 1.0(native)
北京:97b2549f-fbac-4d96-8ee1-339462501b74
上海:b8ddcea6-cab9-4e95-951c-807f1cff7264
广州:2db4fe5b-b8ed-4f2d-a4a1-093bd38f7f9f
1、腾讯云 Meson 高性能引擎-DLC 向量化引擎上线发布。
Spark
3.2
北京:b81c1132-0580-4b9d-bb51-419e97369d9e
上海:0e240454-1949-40ed-8d68-da4536dcaa36
广州:d5b4e0c7-9d01-4169-9d93-3b458f81bec7
1、升级 hadoop-cos 到8.3.9,修复 cos 普通桶读取可能导致任务卡住的问题。
2、新增配置 Spark 镜像缓存。
3、默认打开洞察的事件采集。
3.5
北京:1348aa41-9d72-43a6-a656-4f58c59b2692
上海:c451fcac-448c-4f1f-908e-ecb80950eb95
广州:cd161662-24b2-468f-9500-7a87ac438381
1、升级 hadoop-cos 到8.3.9,修复 cos 普通桶读取可能导致任务卡住的问题。
2、修复联邦默认 hivecatalog 配置和DataLakeCatalog 默认配置错误的问题。
3、新增配置镜像缓存。
4、默认打开洞察的事件采集。
3.2(native)
北京:2ec4dd72-3155-4fe3-8e26-5a92e1f2dcf1 上海:6326c41a-2769-44ac-844e-cd4bb35ab2ca 广州:7d94f905-c3b7-4026-9e8a-374e8559a759
1、腾讯云 Meson 高性能引擎-DLC 向量化引擎上线发布。

2024-06-28

影响范围:全地域更新
引擎类型
内核版本(大版本)
内核版本 ID
功能更新
SuperSQL
SuperSQL 1.0
北京:1736ea7f-3273-44ac-a89e-e3f2003e53f7 上海:9a7c84e7-e26e-4e99-92d6-9ce1eefc7a32 广州:cd161662-24b2-468f-9500-7a87ac438381
1、升级 hadoop-cos 到8.3.7,修复拉取镜像失败不重试的问题。【更新:该版本有其他风险,建议升级】
2、添加 Driver 启动后第一次连接 livy 时的重试机制,避免集群因网络问题启动时间过长。
3、优化 Livy 心跳上报的逻辑。
4、优化 Livy 日志打印。
SuperSQL 3.5
北京:200dabe0-f73d-460e-ac1d-fc2058708b55 上海:3c7256e6-9c16-4009-9592-542ef9358624 广州:564f51a5-16f3-4008-9790-1525c9f9d554
1、升级 hadoop-cos 到8.3.7,修复拉取镜像失败不重试的问题。【更新:该版本有其他风险,建议升级】 2、添加 Driver 启动后第一次连接livy时的重试机制,避免集群因网络问题启动时间过长。 3、优化 Livy 心跳上报的逻辑。 4、优化 Livy 日志打印。
Spark
3.2
北京:cf230dfc-869d-4cca-8f89-3c7351741414 上海:5e6c2ffc-eb89-48ac-8116-b7baeab31ff5 广州:35bd1c97-62cb-4a06-9517-266258c4e20f
1、升级 hadoop-cos 到8.3.7,修复拉取镜像失败不重试的问题。【更新:该版本有其他风险,建议升级】 2、添加 Driver 启动后第一次连接 livy 时的重试机制,避免集群因网络问题启动时间过长。 3、优化 Livy 心跳上报的逻辑。 4、优化 Livy 日志打印。
3.5
北京:68f53306-99a4-4cc3-8c00-220231d6e814 上海:c228ac12-2805-4159-9ba6-fcfbf770484c 广州:d5442892-8edf-4263-a488-1de6c6cbf3aa
1、升级 hadoop-cos 到8.3.7,修复拉取镜像失败不重试的问题。【更新:该版本有其他风险,建议升级】 2、添加 Driver 启动后第一次连接 livy 时的重试机制,避免集群因网络问题启动时间过长。 3、优化 Livy 心跳上报的逻辑。 4、优化 Livy 日志打印。

2024-06-19

影响范围:全地域更新
引擎类型
内核版本(大版本)
内核版本 ID
功能更新
SuperSQL
SuperSQL 1.0
北京:0f971b94-a55d-43e3-9144-e9b0e24c18dc 上海:cb150c67-5125-45c1-9022-1bb3e110e6fe 广州:cd161662-24b2-468f-9500-7a87ac438381
1、修复 Drop iceberg table 时提示表类型错误的BUG。
2、增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制,统一交由控制台控制。
SuperSQL 3.5
北京:f365495d-0e24-471b-a201-348424b6e68f 上海:b38ea2cc-13c7-47d9-8b4d-4cfea85fffe2 广州:fffabbd0-5afc-46d5-bc57-657eab1791ce
1、修复 Drop iceberg table 时提示表类型错误的BUG。 2、增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制,统一交由控制台控制。
3、新增 Python UDF 的支持。
Spark
3.2
北京:6a51eeb6-8b4c-43c2-9d64-564c969988ba 上海:de408265-8e5a-4b62-953f-31137d12e80d 广州:4643d213-4749-4826-a7fe-bb615788a52e
1、修复 Drop iceberg table 时提示表类型错误的BUG。 2、增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制,统一交由控制台控制。
3.5
北京:b2e6e9bb-94ec-483b-8cda-d144da56744f 上海:1c5f2784-a4d3-40f6-8e09-ded1069257ea 广州:94a1d024-157d-420e-bc9a-693b89eb7d5c
1、修复 Drop iceberg table 时提示表类型错误的BUG。 2、增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制,统一交由控制台控制。 3、新增 Python UDF 的支持。