2024年6月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
新增洞察管理功能 | 对 spark 集群并行、调度情况、任务进行详细洞察分析，提升调优效率。 增强 spark 引擎整体运行状况可观测性，提供如：引擎资源使用情况，引擎执行时长，数据扫描大小，数据 shuffle 大小等洞察指标 新增 spark 任务洞察功能，提供如：资源抢占、shuffle 异常、磁盘不足、慢 task 等洞察指标 | 2024-06-07 |
2024年5月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
优化标准引擎模块（灰度版本） | 支持基于 kyuubi 统一网关的标准 Presto 及 Spark 引擎（灰度版本），功能层新增标准引擎配置。配置规格如下： 支持 Presto 原生语法的包年包月及按量计费标准引擎 支持 Spark 原生语法的包年包月及按量计费标准引擎 | 2024-05-8 | |
新增 supersql spark 引擎3.5版本 | supersql 中的 spark 作业引擎及 sparksql 引擎支持3.5版本（灰度版本） | 2024-05-13 | - |
支持 Python 注册 UDF | 支持 SuperSQL Spark 3.2 集群 Python UDF 注册 | 2024-05-21 |
2024年4月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持 iceberg 原生表洞察 | 丰富 iceberg 原生表数据治理配置项及支持可视化洞察优化结果 | 2024-04-02 |
2023年12月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
扩充函数支持范围 | 新增多个函数支持 | 2023-12-08 |
2023年11月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
升级数据优化功能 | 新增支持批集群做数据治理 | 2023-11-29 | - |
新增标准引擎模块（灰度版本） | 支持基于 kyuubi 统一网关的标准 Presto 及 Spark 引擎（灰度版本），功能层新增标准引擎配置。配置规格如下： 支持 Presto 原生语法的包年包月标准引擎 支持 Spark 原生语法的 Spark SQL 包年包月标准引擎 | 2023-11-16 | - |
2023年10月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
产品体验优化 | 优化返回错误码功能，更新了更多的错误码类型及操作建议 工作台概览页优化，帮助新用户更好的进行产品的权限开通 数据探索：SQL 编辑器产品体验优化 权限管理功能体验优化：整合引擎权限与库表权限配置链路，强化添加成员后的功能权限配置链路感知 | 2023-10-17 | - |
新增默认开放引擎操作类权限 | 针对引擎，允许选择默认开放：引擎的操作类权限。 包含：操作、监控、使用。 | 2023-10-17 | - |
2023年9月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
性能优化 | 针对慢查询、慢接口治理优化 | 2023-09-15 | - |
元数据加速桶 | 元数据加速桶权限支持绑定 Oceanus | 2023-09-15 | |
数据作业支持打包自定义镜像 | 创建作业时，允许用户在基础镜像的基础上打包自定义镜像 | 2023-09-15 | - |
2023年8月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
弹性资源默认支持跨多可用区 | 弹性资源默认支持跨多可用区，资源拉起更稳定，容灾能力更强 | 2023-08-10 | - |
优化引擎默认参数 | 优化参数生效优先级，数据探索支持使用引擎默认参数 | 2023-08-10 | |
支持销毁托管存储 | 支持用户通过控制台自行销毁托管存储 | 2023-08-10 | |
优化 spark 作业业务日志 | spark 作业业务日志展示更丰富的信息 | 2023-08-10 | - |
支持 TDLC 命令行工具 | 可以通过命令行工具提交任务，支持 spark submit | 2023-08-10 |
2023年07月
2023年06月
2023年05月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据治理能力增强 | 全面增强小文件合并、过期快照删除的稳定性和能力。优化治理规则，支持更易用的数据治理配置 | 2023-05-16 | |
产品化 Iceberg Upsert 布隆过滤和分桶最佳实践 | Iceberg V2 Upsert 场景下，支持配置 Upsert 主键，自动优化布隆过滤和分桶规则 | 2023-05-16 | - |
元数据加速桶权限绑定流程优化 | 支持创建/销毁引擎自动绑定/解绑元数据加速桶 | 2023-05-16 | - |
新用户上手权限指引优化 | 新用户上手数据探索时提供权限检查，优化新用户的使用体验 | 2023-05-16 | - |
2023年04月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
Spark 作业引擎支持 SQL 能力优化 | 补全 Spark 作业引擎运行 SQL 的下载能力、日志能力等，优化了体验和稳定性 | 2023-04-20 | - |
Spark 作业引擎包年包月支持弹性配置 | Spark 作业引擎包年包月支持弹性配置，满足业务多样的资源弹性需求 | 2023-04-20 | - |
2023年03月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
原生表托管存储商业化 | 2023-03-15 | ||
支持配置容灾集群 | Spark、SparkSQL、Presto 集群均支持配置容灾备集群，此配置项默认关闭，若有需要可手动打开 | 2023-03-15 | - |
数据权限优化 | 数据探索任务支持配置独享、共享，独享任务只有开发者及管理员可见 | 2023-03-15 | - |
支持行级权限 | 支持对单表设置行级权限，满足客户精细化数据权限管理的场景需求，如上海地区的用户只能看到“Region=上海”的数据 | 2023-03-15 | - |
库表联想优化 | 数据探查支持库、表、列名联想 | 2023-03-15 | - |
引擎能力增强 | Iceberg 版本升级至1.1.0 | 2023-03-15 | - |
监控告警能力增强 | 支持查看集群资源池使用情况，数据刷新粒度支持分钟级；支持监控结果导出 | 2023-03-15 | - |
性能优化 | 包年包月集群冷启动耗时优化 | 2023-03-15 | - |
2023年02月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持通过 Spark 集群运行 spark sql | 数据探索中可以选择 Spark 集群作为数据引擎运行查询任务，选择Spark 集群时，需按任务分配执行资源 | 2023-02-24 | - |
Spark 引擎能力增强 | Spark 集群支持动态资源分配；Spark 引擎参数开放配置 | 2023-02-24 | - |
数据引擎性能优化 | 引擎自动挂起优化；包年包月集群启动耗时优化 | 2023-02-24 | - |
支持联邦PostgreSQL | 支持注册 PostgreSQL 数据目录，并联邦查询 PostgreSQL 的数据 | 2023-02-24 | - |
支持数据计算过程加密 | SparkSQL 引擎支持配置 sse-cos、sse-kms 加密，打开加密开关后，使用该引擎进行数据分析、写入时都会对数据进行加密（注：加密对性能有损耗，推荐敏感数据场景开启） | 2023-02-24 | - |
2023年01月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
查询性能优化 | 优化 Presto 引擎的 SQL 执行链路，支持同步查询模式（建议小数据量&低延迟场景使用）。同步查询模式下结果不写到 COS，直接从引擎返回，查询耗时可降低50%以上 | 2023-01-13 | - |
用户体验优化 | 数据探索支持目录树库、表搜索 | 2023-01-13 | - |
集群启动耗时优化 | 集群启动时间优化，启动耗时平均提升50% | 2023-01-13 | - |
2022年12月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
原生表支持数据异步删除 | 删除原生表时，除了删除元数据外，还会删除底层数据，增加数据异步删除机制，避免等待时间过长 | 2022-12-30 | - |
包年包月集群支持友好重启 | 支持在数据引擎页面对包年包月集群进行重启，重启会中断当前引擎上运行的作业 | 2022-12-30 | - |
支持更多样的集群规则 | 2022-12-30 | - | |
运维能力增强 | Spark 作业支持日志过滤与下载 | 2022-12-30 | - |
Spark 作业能力增强 | 除 Python3以外，Spark 作业额外支持 Python 2.7 | 2022-12-30 | - |
Wedata 联通体验优化 | 打通双方用户权限，优化才做体验（用户在 Wedata 中注册数据源时无需额外输入用户密钥信息） Wedata 集成 DLC 数据探索能力 | 2022-12-30 | - |
2022年11月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
原生表支持数据治理 | 开启原生表后，可以针对数据库、数据表配置数据治理策略，支持小文件合并、过期快照删除、孤立文件删除、元数据合并四种，完成策略配置后，触发条件可自动进行数据治理 | 2022-11-25 | |
数据预览可选择 SparkSQL引擎 | 数据管理中，进行表预览时，除presto引擎外，还可选择 SparkSQL 引擎 | 2022-11-25 | - |
SparkSQL 支持自定义最大超时时长 | SparkSQL 可以在 SQL 编译框中通过参数 dlc.query.execution.timeout 设置作业最大执行超时 | 2022-11-25 | - |
支持数据引擎多版本管理 | 增加 Spark、SparkSQL、Presto 引擎的多版本管理，支持用户手动进行版本升级、回滚 | 2022-11-25 | - |
函数能力增强 | 新增支持 MAP_UNION_SUM 、MAP_UNION 等函数 | 2022-11-25 | - |
COS 读写请求费用优化 | 优化 COS 读写和分片策略，降低小文件过多导致的 COS 读写请求过多问题，减少相关费用 | 2022-11-25 | - |
2022年10月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
查询结果导出优化 | 导出 csv 增加编码选项，兼容 excel 等常见软件 | 2022-10-26 | |
支持 Notebook | Notebook 支持，Zeppelin 、Jupyter 等工具支持直连 DLC | 2022-10-26 | - |
支持 Hudi 表 | 支持通过SparkSQL创建、查询 Hudi 表，提供更多数据表格式支持 | 2022-10-26 | |
查询性能优化 | presto 独享引擎性能优化，支持 segement result cache、动态过滤、缓存优化，为数据任务提供多达10倍以上加速效果。 | 2022-10-26 | - |
原生表全量上线 | DLC 原生表全量上线，支持将数据存储到 DLC 原生表，提供更便捷的数据存储服务 | 2022-10-26 | 原生表计费以 COS 服务计费为准。过去通过白名单开通的客户暂不计费，后续商业化计费方案将通过客户群及站内信通知 |
支持购买更大规模集群 | 支持购买超过1024 CU 的集群，为实际生产需求提供更多引擎规格选择 | 2022-10-26 | |
支持 PrestoUI | 支持查看 PrestoUI，分析集群资源使用情况，以及具体 sql 任务使用资源情况 | 2022-10-26 | - |
2022年09月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
监控告警能力加强 | 对接 腾讯云可观测平台，支持通过 腾讯云可观测平台 配置 DLC 数据引擎及数据作业配置监控告警 | 2022-09-30 | |
支持日志审计 | 对接操作审计，支持对操作日志进行审计查看 | 2022-09-30 | |
新增支持数据引擎网络配置 | 支持对数据引擎的网络VPC进行统一管理 | 2022-09-06 | |
SparkSQL 内核支持联邦查询分析 | 支持使用 SparkSQL 内核引擎进行跨源联邦查询分析 | 2022-09-06 | - |
联邦查询分析新增数据源支持 | 联邦查询分析新增 Postgresql， SQLServer， ClickHouse 三种数据源支持 | 2022-09-06 | - |
数据引擎自动挂起支持配置生效规则 | 支持对按量付费数据引擎配置分钟级挂起响应规则 | 2022-09-06 |
2022年08月
2022年07月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持灵光 BI | 使用灵光 BI 时，支持将 DLC 作为数据源，对查询结果进行 BI 分析 | 2022-07-21 | - |
联邦查询分析新增数据源支持 | 新增 CHDFS 数据源支持 | 2022-07-21 | - |
数据作业支持多任务实例 | 数据作业支持同时运行多个任务实例 | 2022-07-21 | - |
数据探索新增内核参数配置 | 支持对 SparkSQL 及 Presto 内核进行 session 级参数配置 | 2022-07-13 | |
Presto 内置函数支持 | 支持使用 Presto 内置函数 | 2022-07-13 | |
扩充函数支持范围 | 新增多个函数支持 | 2022-07-13 |
2022年06月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据作业支持 PySpark | 数据作业支持 PySpark 进行数据建模分析及数据科学应用 | 2022-06-29 | |
Presto 引擎升级 | 通过 Raptorx 利用 Fragment Cache 在查询过程中复用查询中间结果，加速聚合查询，提高聚合查询性能 | 2022-06-29 | - |
Spark 引擎升级 | 升级 Spark3.2 支持 iceberg 表的动态分区下推 | 2022-06-29 | - |
Iceberg 特性升级 | Iceberg 表支持 Snapshot、History、Manifest、Partitions 等元数据查询 Call 语法支持快照管理、元数据管理 | 2022-06-29 | - |
2022年05月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
联邦查询功能增强 | 联邦分析数据源支持 emr-cos、emr-hdfs、chdfs；支持 hive2.X，hive3.X 版本 | 2022-05-31 | - |
支持融合桶加速 | 支持 COS 融合桶加速查询分析性能 | 2022-05-31 | |
融合 WeData 支持离线集成、任务调度 | 融合 WeData 实现数据集成能力，快速连接和融合云上或云下自建的各种数据，实现多源数据离线集成，实现复杂场景下的数据开发运维，进行复杂任务的调度 | 2022-05-23 | - |
数据作业 | 支持创建 Spark作业 集群，可以提交Spark jar、 Spark streaming 支持 Spark 作业创建调度任务 | 2022-05-19 | |
| 支持 Spark UI | 2022-05-19 | - |
支持轻量级任务调度 | 支持创建调度任务并管理调度计划 | 2022-05-10 | |
2022年03月
