您可以通过引擎详细页面的内核管理根据操作时间可以判断当前所属版本（或者查看当前引擎的详细版本），辅助您判断当前引擎是否支持哪些功能，或者存在哪些已经发现的风险点。
DLC 标准引擎1.1-Spark 3.5与社区 Spark SQL 语法的兼容性
DLC 标准引擎基于 Spark3.5拓展，相比社区 Spark 3.5，在 SQL 语法上有以下差异。
类别 | SQL | DLC Standard-S 1.1 | 社区 Spark |
语法 | Alter TABLE Drop Partition (partition spec) | 支持通过表达式删除符合条件的 partition 例如 partition(dt > 20251205) | 支持删除指定的 partition 例如 partition(dt = 20251205) |
| Select * Except From | 支持通过 Except 排除星号中的部分列 例如 select * except (id) from table | 不支持 |
| create table ... create table ... as select | 默认创建 Iceberg 内表 | 默认创建 text 表 |
函数 | max_pt, isdate, datamask_default, datamask_replace, map_union_sum, trans_cols, trans_array, cluster_sample_random, cluster_sample, sample, any_match, get_idcard_age, get_idcard_sex, get_idcard_birthday | 新增 | 不支持 |
| regexp_instr | regexp_instr(str, regexp[, startPosition, occurrence, return_option]) | regexp_instr(str, regexp) |
| regexp_substr | regexp_substr(str, regexp[, startPosition, occurrence]) | regexp_substr(str, regexp) |
| datediff/date_diff | datediff(endDate, startDate[, datePattern]) datediff(PATTERN, endDate, startDate) | datediff(endDate, startDate) datediff(PATTERN, endDate, startDate) |
| dateadd/timestamp_add | dateadd(timestamp, delta[, date_part]) timestamp_add(timestamp, delta[, date_part]) | dateadd(start_date, num_days) |
| greatest/least | （需要 session 级设置spark.sql.extensions.greatestAndLeastImplicitDataType=true） 支持输入类型不同 DOUBLE、BIGINT、STRING 之间的比较会转换为 DOUBLE 类型。 DECIMAL、DOUBLE、BIGINT 和 STRING 之间的比较会转换为 DECIMAL 类型。 STRING、DATE、TIMESTAMP 的比较会转换为 TIMESTAMP 类型 | 输入类型需要完全相同 |
SuperSQL 1.0 vs SuperSQL 3.5 或 Spark 3.2 vs Spark 3.5兼容性
为了方便您评估从 SuperSQL 1.0 升级到 SuperSQL 3.5，或者从 Spark 3.2 升级到 Spark 3.5，这里整理了两个版本之间目前已知的一些可能影响较大的差异点，方便您评估是否可以平滑升级。
类别 | 差异点 | SuperSQL 1.0 / Spark 3.2 | SuperSQL 3.5 / Spark 3.5 | 社区行为解释 |
SQL 算子 | 涉及到 sort 相关的算子，例如 order by | 2023年10月及以前版本默认为 nulls last 2023年11月及以后版本默认为 nulls first | 默认为 nulls first 2024年8月及以后的版本支持通过参数配置 配置项：spark.dlc.extensions.scope=null_order_rules,functions(2024年10月后可不配置该选项)。开启 null_order 可配置 spark.sql.defaultSortNullOrdering=nullLast 或 nullFirst 指定 null 顺序 | 社区行为 nulls first |
| Limit 算子 | 1. 数据扫描量随 Limit N 数量的增加而增加，例如 select * from TABLE limit N。 2. 不支持 limit offset。 | 1. 数据扫描量固定为全表扫描，不会随着 Limit N 数量的增加而增加，例如 select * from TABLE limit N。 2. 支持 limit offset。 | 社区行为。3.2会在 Plan 解析阶段就获取 BatchScan 的 partition信息，这对 DSV2 其他的列式数据源是不友好的，且 limit 数据量较大时性能较差。 |
SQL 函数 | to_char 函数 | 2023年12月及以前版本不支持 2023年12月及以后版本支持数字格式转换，拓展了时间格式转换（即date_format 函数功能） | 支持数字格式转换，拓展了时间格式转换。可修改spark.dlc.extensions.scope=functions（默认开启）为 none 使用社区函数。 | 社区仅支持数字格式转换 |
| date_diff 函数 | DLC 自定义实现，使用格式为 datediff(timestamp|date start, timestamp|date end, [string unit])，其中 unit 默认为 dd，可选 hh、MM 等格式。 | 有两种实现的语法： 社区实现 datediff(TimeUnit unit, timestamp|date start, timestamp|date end)。除了参数顺序不一致，unit 需为 HOUR 等新增的语法类型。 DLC 自定义实现 datediff(timestamp|date start, timestamp|date end)。由于社区行为覆盖，导致 datediff 仅支持两段式的日期加减。 | 社区新增函数与 DLC 原有的格式语义不一致。 |
| dateadd 函数 | DLC自定义实现，使用格式为dateadd(timestamp|date input, int delta, [string unit]) 其中，unit可选为hh、MM等格式。 | 有两种实现的语法： 社区实现 dateadd(TimeUnit unit, int delta, timestamp|date input)。除了参数顺序不一致，unit 需为 HOUR 等新增的语法类型。 DLC 自定义实现dateadd(timestamp|date input, int delta)。由于社区行为覆盖，导致 dateadd 仅支持两段式的日期加减。 | 社区新增函数与 DLC 原有的格式语义不一致。 |
读写文件 | CSV 文件保存（包括 SQL 查询结果保存） | CSV 可以支持 Binary 类型的数据写入，但是写进去其实无法读取 | CSV 不再支持 Binary 类型的数据写入，会抛出异常 | 社区不再支持 Binary 类型数据写入 CSV，无可读性。 |
UI | Session 级参数展示 | 无法从 UI 里查看 Session 级参数 | 可以从 SQL DataFrame 页面查看当前任务执行时的 Session 级参数 | - |
2025-09-25
引擎类型 | 内核版本（大版本） | 更新描述 |
标准引擎 | Standard-S 1.1（native） | 1. Hadoop-cos 版本升级至8.3.22 2. 支持 count(distinct ) 开窗 3. AggregatePushdownThroughJoins 规则优化（需手动开启） 4. 部分默认参数更新 |
| Standard-S 1.1 | 1. Spark 版本由3.5.1升级至3.5.3 2. 支持 count(distinct ) 开窗 3. Hadoop-cos 版本升级至8.3.22 4. AggregatePushdownThroughJoins 规则优化（需手动开启） 5. 部分默认参数更新 |
2024-12-20
引擎类型 | 内核版本（大版本） | 内核版本 ID（仅列出北上广地域） | 更新描述 |
标准引擎 | Standard-S 1.1 | 广州：2d5354d7-73c6-453c-9fdb-d486f1fba373 上海：1086a78b-3677-4b13-b8e9-3ba703f4ac30 北京：34b89da2-49c3-4f8f-8ba2-b5446b3f2bd3 | 1. 修复 alter table rename 表名时 db location 为空报错问题。 2. 支持 spark3.5 读 parquet 结果文件。 3. 增加对 geo 函数的支持。 4. 去除 ODPS 包。 5. 完善小文件合并功能。 |
SuperSQL | SuperSQL 1.0 | 广州：dff863f5-131a-405d-8345-4a5f6f3f6989 上海：1571cd52-8b87-4816-8a4c-2dc43610502b 北京：78aff260-2423-42ac-8654-c03d2a0c37d0 | 1. 修复任务长时间被HiveExternalCatalog.withClient 阻塞的问题。 2. 去除 ODPS 包。 3. 完善小文件合并功能。 |
| SuperSQL 3.5 | 广州：c38270d1-2faf-4626-b525-7803f4c181e4 上海：f555081c-b8d1-41a5-aa5c-ff958374bc58 北京：ac6241b3-765d-4056-b122-5414b3823577 | 1. 修复 alter table rename 表名时 db location 为空报错问题。 2. 增加对 geo 函数的支持。 3. 去除 ODPS 包。 4. 完善小文件合并功能。 |
Spark | 3.2 | 广州：19a491b0-2bc9-49e4-a1ed-50110a8efa18 上海：ac2a6f2c-5578-49c9-9426-67193de0475a 北京：988a484b-e4ed-4b9a-b095-83cc51451556 | 1. 修复任务长时间被 HiveExternalCatalog.withClient 阻塞的问题。 2. 去除 ODPS 包。 3. 完善小文件合并功能。 |
| 3.5 | 广州：1460d589-c92c-4851-beb1-b446d180409c 上海：08901a35-b11e-4206-a95b-5dc1ad94bd43 北京：b51ded45-1d99-44b4-a197-08ae4bef9dab | 1. 修复 alter table rename 表名时 db location 为空报错问题。 2. 增加对 geo 函数的支持。 3. 去除 ODPS 包。 4. 完善小文件合并功能。 |
2024-11-15
引擎类型 | 内核版本（大版本） | 内核版本 ID（仅列出北上广地域） | 更新描述 |
标准引擎 | Standard-S 1.1 | 广州：04e77717-6db3-439e-a861-75d5b036c49c 上海：3299b3e1-41a0-42cc-818e-9b270292ef84 北京：00633d49-8588-43d6-b227-798bc5aa3249 | 1. 支持写入任务展示分区详情。 2. 去除 ODPS 包。 3. 优化规则ConvertInnerToSemiJoins/AggregatePushdownThroughJoins/EliminateInnerJoinWithAgg 默认关闭。 4. 支持分区内小文件的收集，避免小概率无法上传分区写入信息问题。 5. 修复 Doris 联邦读 datetime 时间类型报错的问题。 |
SuperSQL | SuperSQL 1.0 | 广州：1c0ae7de-09d1-4a47-bc1f-db519e9f53be 上海：1538c41b-ce08-4131-9ceb-74db33b6d188 北京：615129ef-1566-4875-8b3c-ceac04b78742 | 1. 支持写入任务展示分区详情。 2. 去除 ODPS 包。 3. 优化规则 ConvertInnerToSemiJoins/AggregatePushdownThroughJoins/EliminateInnerJoinWithAgg 默认关闭。 4. 支持分区内小文件的收集，避免小概率无法上传分区写入信息问题。 5. 修复 Doris 联邦读 datetime 时间类型报错的问题。 |
| SuperSQL 3.5 | 广州：1e88b7ff-460d-4930-90b3-ae6040fe4ccc 上海：b3e8f087-e3a7-43f6-a298-3f99abd1e18a 北京：876bae90-ed7c-43e4-a023-7e5241b48af8 | 1. 支持写入任务展示分区详情。 2. 去除 ODPS 包。 3. 优化规则ConvertInnerToSemiJoins/AggregatePushdownThroughJoins/EliminateInnerJoinWithAgg 默认关闭。 4. 支持分区内小文件的收集，避免小概率无法上传分区写入信息问题。 5. 修复 Doris 联邦读 datetime 时间类型报错的问题。 |
Spark | 3.2 | 广州：15d237e2-4893-4106-a176-a2bc884905e9 上海：76bff2db-34dd-481e-9161-56c21c1197b0 北京：84c0ce13-5087-4c91-a540-5d9b0952acaf | 1. 支持写入任务展示分区详情。 2. 去除 odps 包。 3. 优化规则ConvertInnerToSemiJoins/AggregatePushdownThroughJoins/EliminateInnerJoinWithAgg 默认关闭。 4. 支持分区内小文件的收集，避免小概率无法上传分区写入信息问题。 5. 修复 doris 联邦读 datetime 时间类型报错的问题。 |
| 3.5 | 广州：1c396046-bf28-484b-8b79-e48cd1c0a57c 上海：1b53cebf-0b18-4abc-8e49-20def7028446 北京：7482e0ae-b92d-402c-9132-1000f16b7910 | 1. 支持写入任务展示分区详情。 2. 去除 odps 包。 3. 优化规则ConvertInnerToSemiJoins/AggregatePushdownThroughJoins/EliminateInnerJoinWithAgg 默认关闭。 4. 支持分区内小文件的收集，避免小概率无法上传分区写入信息问题。 5. 修复 doris 联邦读 datetime 时间类型报错的问题 |
2024-10-30
引擎类型 | 内核版本（大版本） | 内核版本 ID（仅列出北上广地域） | 更新描述 |
标准引擎 | Standard-S 1.1 | 广州：ab313a2c-52f7-4d96-ab51-43e687d5642a 上海：609e6c3d-1dd4-4bb7-9f58-014ff669a531 北京：b4d48cca-8294-43f8-8da4-e1c3326e57c5 | 1. Bug 修复： 1.1 修复EMR联邦查询失败的错误。 1.2 标准引擎3.5建库失败问题。 1.3 修复联邦 EMR 时 TextFile 格式的表获取 colection.delim 错误的问题。 1.4 修复 HADOOP_CONF_DIR 目录挂载问题。 1.5 普通用户建库权限问题。 1.6 commit failed exception 错误处理。 2. 依赖包升级： 2.1 iceberg-spark-runtime 包升级支持 dangling deletes。 2.2 iceberg extend 包升级修复 commit failed exception 错误处理的问题。 2.3 kyuubi-spark-authz 包升级修复普通用户建库权限问题。 3. 新增 MergeScalaSubqueries 优化规则的拓展，支持子查询的 Iceberg 表的部分场景合并、支持 Parquet 表的完全合并。 4. Livy 支持上报 Error 状态以支持快速重试 |
| Standard-S 1.1(native) | 广州：776d1de2-9c3f-483b-aaad-4d91b02d8a83 上海：030deaa6-d16b-4a65-8b39-34cd3b7ef16e 北京：454e8175-b0e7-49ac-9bb7-a07340c85010 | 腾讯云 Meson 高性能引擎-DLC 向量化标准引擎上线发布, 基于 Spark 3.5 和 Iceberg 1.5。 |
SuperSQL | SuperSQL 1.0 | 广州：4b9d2375-b4b4-4113-87a2-db32ba8c88e6 上海：1538c41b-ce08-4131-9ceb-74db33b6d188 北京：e3cf85d8-8920-4c79-b144-94fbd0aeac6e | 1. Bug 修复： 1.1 修复 LocalCache 在没有 load 到 bytes 时的异常。 1.2 升级 mysql 驱动包解决 mysql 联邦错误的问题。 1.3 修复联邦 EMR 时 TextFile 格式的表获取colection.delim 错误的问题。 1.4 普通用户建库权限问题。 1.5 commit failed exception 错误处理。 2. 依赖包升级： 2.1 iceberg-spark-runtime 包升级支持dangling deletes。 2.2 iceberg extend 包升级修复 commit failed exception 错误处理的问题。 2.3 kyuubi-spark-authz 包升级修复普通用户建库权限问题。 3. Livy 支持上报 Error 状态以支持快速重试。 |
| SuperSQL 3.5 | 广州：8c5b699e-44e2-45aa-aa3f-2104175836d9 上海：2b12ac55-c1c0-47cf-ae00-431c2d666ef3 北京：f82a3ae0-5d81-4045-a54e-061cf9d04ba8 | 1. Bug 修复： 1.1 修复 EMR 联邦查询失败的错误。 1.2 标准引擎3.5建库失败问题。 1.3 修复联邦 EMR时TextFile 格式的表获取colection.delim 错误的问题。 1.4 修复 HADOOP_CONF_DIR 目录挂载问题。 1.5 普通用户建库权限问题。 1.6 commit failed exception 错误处理。 2. 依赖包升级： 2.1 iceberg-spark-runtime 包升级支持dangling deletes。 2.2 iceberg extend 包升级修复 commit failed exception 错误处理的问题。 2.3 kyuubi-spark-authz 包升级修复普通用户建库权限问题。 3. 新增 MergeScalaSubqueries 优化规则的拓展，支持子查询的 Iceberg 表的部分场景合并、支持 Parquet 表的完全合并。 4. Livy 支持上报 Error 状态以支持快速重试。 |
Spark | 3.2 | 广州：2979fda0-b012-4624-a7ae-b552cff24fdb 上海：16d23556-1136-420f-811e-18a665b55eef 北京：aaefed93-76a2-4b02-931a-e2503feefbf7 | 1. Bug 修复： 1.1 修复 LocalCache 在没有 load 到 bytes 时的异常。 1.2 升级 mysql 驱动包解决 mysql 联邦错误的问题。 1.3 修复联邦 EMR 时 TextFile 格式的表获取colection.delim 错误的问题。 1.4 普通用户建库权限问题。 1.5 commit failed exception 错误处理。 2. 依赖包升级： 2.1 iceberg-spark-runtime 包升级支持dangling deletes。 2.2 iceberg extend 包升级修复 commit failed exception 错误处理的问题。 2.3 kyuubi-spark-authz 包升级修复普通用户建库权限问题。 3. Livy 支持上报 Error 状态以支持快速重试。 |
| 3.5 | 广州：faef9099-a352-42f3-8826-cdb2cdaff879 上海：224ded79-c896-460c-a3dc-ef7fd8713c7c 北京：ef97de9d-1bb1-457f-832a-c0293f633454 | 1. Bug 修复： 1.1 修复 EMR 联邦查询失败的错误。 1.2 标准引擎3.5建库失败问题。 1.3 修复联邦 EMR 时 TextFile 格式的表获取 colection.delim 错误的问题。 1.4 修复 HADOOP_CONF_DIR 目录挂载问题。 1.5 普通用户建库权限问题。 1.6 commit failed exception 错误处理。 2. 依赖包升级： 2.1 iceberg-spark-runtime包升级支持dangling deletes。 2.2 iceberg extend 包升级修复 commit failed exception 错误处理的问题。 2.3 kyuubi-spark-authz 包升级修复普通用户建库权限问题。 3. 新增 MergeScalaSubqueries 优化规则的拓展，支持子查询的 Iceberg 表的部分场景合并、支持 Parquet 表的完全合并。 4. Livy 支持上报 Error 状态以支持快速重试。 |
2024-09-26
引擎类型 | 内核版本（大版本） | 内核版本 ID（仅列出北上广地域） | 更新描述 |
标准引擎 | Standard-S 1.1 | 无 | 基于 Spark3.5内核标准引擎版本上线 |
SuperSQL | SuperSQL 1.0 | 广州：4dc13fd6-e1ea-41d6-8a6e-cafb55d4be7f 上海：0721c3db-1454-4b7b-aac2-c0b990cc1dee 北京：30f39b17-aa8b-40c9-9a1b-39b819bb32d4 | 1. 支持联邦 Doris 读写。 2. 修复 MySQL 升级后无法联邦的问题。 3. 增加 datamask 函数。 4. 修复 t265 迭代存在 Iceberg 内存泄露问题。 5. 修复 DateDiff 函数无法支持 codegen 问题。 6. 删除 committer 相关配置。 |
| SuperSQL 3.5 | 广州：be7e4afe-ba87-42e1-bdfb-cb5c7e372825 上海：7be45a56-5b00-44ba-bb12-7f26fb5ee217 北京：d281ccaf-cae5-4a11-82c7-dfc5e4ea95ef | 1. 支持联邦 Doris 读写。 2. 修复 MySQL 升级后无法联邦的问题。 3. 增加 datamask 函数。 4. 修复 t265 迭代存在 Iceberg 内存泄露问题。 5. 修复 DateDiff 函数无法支持 codegen 问题。 6. 删除 committer 相关配置。 |
Spark | 3.2 | 广州：4967a9a4-642f-4c3a-b04e-78c28381811a 上海：faaf9906-7e9d-4c7d-9d70-77080f7837ed 北京：de9e946b-c271-481a-93a0-b963dfd4ebc6 | 1. 支持联邦 Doris 读写。 2. 修复 MySQL 升级后无法联邦的问题。 3. 增加 datamask 函数。 4. 修复 t265 迭代存在 Iceberg 内存泄露问题。 5. 修复 DateDiff 函数无法支持 codegen 问题。 6. 删除 committer 相关配置。 |
| 3.5 | 广州：81eaa585-0c68-46da-b3aa-d1c7d0067776 上海：2b99949e-b347-46d6-80f6-8d8cfbab0351 北京：2fdb3b08-07bf-49ee-a9fd-aa5bb2ae3ae3 | 1. 支持联邦 Doris 读写。 2. 修复 MySQL 升级后无法联邦的问题。 3. 增加 datamask 函数。 4. 修复 t265 迭代存在 Iceberg 内存泄露问题。 5. 修复 DateDiff 函数无法支持 codegen 问题。 6. 删除 committer 相关配置。 |
2024-08-15
引擎类型 | 内核版本（大版本） | 内核版本 ID（仅列出北上广地域） | 更新描述 |
SuperSQL | SuperSQL 1.0 | 北京：6483c7f7-8b0e-42e5-84c7-431a8c402c77 上海：c8cdcc18-e424-4ea0-ba68-1d4f6eec774c 广州：f405a51b-1bc3-47df-adb5-a2aa6bcb0e9e | 1. 实现 Spark hive write 全局 Repartition，支持小文件合并。 2. sort nullOrder 可参数配置。 3. 修复查询重名列与 unionall 一起使用存在数据错误问题。 4. 新增 hive iceberg runtime 依赖包。 |
| SuperSQL 3.5 | 北京：f17b701e-3e8e-4a5a-8d3c-26acd3c702bd
上海：8778b043-980b-4dae-8b33-aca10128e972 广州：fe541a8f-d923-4254-b7c0-1babe33a5d37 | 1. 实现 Spark hive write 全局 Repartition，支持小文件合并。 2. sort nullOrder 可参数配置。 3. 修复查询重名列与 unionall 一起使用存在数据错误问题。 4. 新增 hive iceberg runtime 依赖包。 |
Spark | 3.2 | 北京：25e2f5ee-b459-4775-be0d-10541c147a74 上海：de76ad64-b014-427f-9c40-27c8677ac445 广州：69a0cfd0-f2db-450d-a7b6-0eb05a8f47c8 | 1. 实现 Spark hive write 全局 Repartition，支持小文件合并。 2. sort nullOrder 可参数配置。 3. 修复查询重名列与 unionall 一起使用存在数据错误问题。 4. 新增 hive iceberg runtime 依赖包。 |
| 3.5 | 北京：705f2381-2b77-4b53-be41-189bad99bca6 上海：e7f2c886-5f3b-4b99-8385-daedf81ec758 广州：66834c28-855a-4bb6-8419-e7c73ebcc73c | 1. 实现 Spark hive write 全局 Repartition，支持小文件合并。 2. sort nullOrder 可参数配置。 3. 修复查询重名列与 unionall 一起使用存在数据错误问题。 4. 新增 hive iceberg runtime 依赖包。 |
2024-07-17
影响范围：全地域更新
引擎类型 | 内核版本（大版本） | 内核版本 ID（仅列出北上广地域） | 更新描述 |
SuperSQL | SuperSQL 1.0 | 北京：8d983ad5-08c3-4252-b2ca-fb76e31342af 上海：8b00d420-3514-4b2d-94be-69bda8f145bd 广州：f2a18e86-c69c-48d9-a402-775f4a9c629a | 1. 升级 hadoop-cos 到8.3.9，修复 cos 普通桶读取可能导致任务卡住的问题。 2. 默认打开洞察的事件采集。 |
| SuperSQL 3.5 | 北京：f5e50777-944b-4c2a-bf65-f378e875dff1 上海：56589b24-2f80-4a19-89e7-fd8fd147daae 广州：abbbe6c9-cbc8-476d-ae70-38832cee30be | 1. 升级 hadoop-cos 到8.3.9，修复 cos 普通桶读取可能导致任务卡住的问题。 2. 修复联邦默认 hive catalog 配置的问题。 3. 默认打开洞察的事件采集。 |
| SuperSQL 1.0(native) | 北京：97b2549f-fbac-4d96-8ee1-339462501b74 上海：b8ddcea6-cab9-4e95-951c-807f1cff7264 广州：2db4fe5b-b8ed-4f2d-a4a1-093bd38f7f9f | 腾讯云 Meson 高性能引擎-DLC 向量化引擎上线发布。 |
Spark | 3.2 | 北京：b81c1132-0580-4b9d-bb51-419e97369d9e 上海：0e240454-1949-40ed-8d68-da4536dcaa36 广州：d5b4e0c7-9d01-4169-9d93-3b458f81bec7 | 1. 升级 hadoop-cos 到8.3.9，修复 cos 普通桶读取可能导致任务卡住的问题。 2. 新增配置 Spark 镜像缓存。 3. 默认打开洞察的事件采集。 |
| 3.5 | 北京：1348aa41-9d72-43a6-a656-4f58c59b2692 上海：c451fcac-448c-4f1f-908e-ecb80950eb95 广州：cd161662-24b2-468f-9500-7a87ac438381 | 1. 升级 hadoop-cos 到8.3.9，修复 cos 普通桶读取可能导致任务卡住的问题。 2. 修复联邦默认 Hive catalog 配置和DataLakeCatalog 默认配置错误的问题。 3. 新增配置镜像缓存。 4. 默认打开洞察的事件采集。 |
| 3.2(native) | 北京：2ec4dd72-3155-4fe3-8e26-5a92e1f2dcf1
上海：6326c41a-2769-44ac-844e-cd4bb35ab2ca
广州：7d94f905-c3b7-4026-9e8a-374e8559a759 | 腾讯云 Meson 高性能引擎-DLC 向量化引擎上线发布。 |
2024-06-28
影响范围：全地域更新
引擎类型 | 内核版本（大版本） | 内核版本 ID | 功能更新 |
SuperSQL | SuperSQL 1.0 | 北京：1736ea7f-3273-44ac-a89e-e3f2003e53f7
上海：9a7c84e7-e26e-4e99-92d6-9ce1eefc7a32
广州：cd161662-24b2-468f-9500-7a87ac438381 | 1. 升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。（更新：该版本有其他风险，建议升级） 2. 添加 Driver 启动后第一次连接 livy 时的重试机制，避免集群因网络问题启动时间过长。 3. 优化 Livy 心跳上报的逻辑。 4. 优化 Livy 日志打印。 |
| SuperSQL 3.5 | 北京：200dabe0-f73d-460e-ac1d-fc2058708b55
上海：3c7256e6-9c16-4009-9592-542ef9358624
广州：564f51a5-16f3-4008-9790-1525c9f9d554 | 1. 升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。（更新：该版本有其他风险，建议升级） 2. 添加 Driver 启动后第一次连接Livy时的重试机制，避免集群因网络问题启动时间过长。 3. 优化 Livy 心跳上报的逻辑。 4. 优化 Livy 日志打印。 |
Spark | 3.2 | 北京：cf230dfc-869d-4cca-8f89-3c7351741414
上海：5e6c2ffc-eb89-48ac-8116-b7baeab31ff5
广州：35bd1c97-62cb-4a06-9517-266258c4e20f | 1. 升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。（更新：该版本有其他风险，建议升级） 2. 添加 Driver 启动后第一次连接 livy 时的重试机制，避免集群因网络问题启动时间过长。 3. 优化 Livy 心跳上报的逻辑。 4. 优化 Livy 日志打印。 |
| 3.5 | 北京：68f53306-99a4-4cc3-8c00-220231d6e814
上海：c228ac12-2805-4159-9ba6-fcfbf770484c
广州：d5442892-8edf-4263-a488-1de6c6cbf3aa | 1. 升级 hadoop-cos 到8.3.7，修复拉取镜像失败不重试的问题。（更新：该版本有其他风险，建议升级） 2. 添加 Driver 启动后第一次连接 livy 时的重试机制，避免集群因网络问题启动时间过长。 3. 优化 Livy 心跳上报的逻辑。 4. 优化 Livy 日志打印。 |
2024-06-19
影响范围：全地域更新
引擎类型 | 内核版本（大版本） | 内核版本 ID | 功能更新 |
SuperSQL | SuperSQL 1.0 | 北京：0f971b94-a55d-43e3-9144-e9b0e24c18dc
上海：cb150c67-5125-45c1-9022-1bb3e110e6fe
广州：cd161662-24b2-468f-9500-7a87ac438381 | 1. 修复 Drop iceberg table 时提示表类型错误的BUG。 2. 增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制，统一交由控制台控制。 |
| SuperSQL 3.5 | 北京：f365495d-0e24-471b-a201-348424b6e68f
上海：b38ea2cc-13c7-47d9-8b4d-4cfea85fffe2
广州：fffabbd0-5afc-46d5-bc57-657eab1791ce | 1. 修复 Drop iceberg table 时提示表类型错误的BUG。 2. 增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制，统一交由控制台控制。 3. 新增 Python UDF 的支持。 |
Spark | 3.2 | 北京：6a51eeb6-8b4c-43c2-9d64-564c969988ba
上海：de408265-8e5a-4b62-953f-31137d12e80d
广州：4643d213-4749-4826-a7fe-bb615788a52e | 1. 修复 Drop iceberg table 时提示表类型错误的BUG。 2. 增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制，统一交由控制台控制。 |
| 3.5 | 北京：b2e6e9bb-94ec-483b-8cda-d144da56744f
上海：1c5f2784-a4d3-40f6-8e09-ded1069257ea
广州：94a1d024-157d-420e-bc9a-693b89eb7d5c | 1. 修复 Drop iceberg table 时提示表类型错误的BUG。 2. 增大 Livy 同时可运行的任务数、可保存查询的任务数默认限制，统一交由控制台控制。 3. 新增 Python UDF 的支持。 |
