2024年4月
如下表格介绍了数据开发治理平台 WeData 4月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 编排空间增加任务依赖关系和事件依赖的查看能力。 新增实例执行历史记录，支持查看实例等待事件/等待上游、等待运行、运行中的开始时间和结束时间。 新增实例操作记录，可查看实例置成功、终止等操作的操作时间、操作人等信息。 实例列表/任务列表支持下载功能。 实例列表增加展示错误码信息。 优化 实例血缘新增列表模式，并支持针对上下游的批量操作能力。 跨项目克隆增加是否自动勾选上游任务的开关。 任务版本中增加审批人信息。 优化任务版本对比查看能力，增加按照任务属性表格方式对比。 优化 IDE 目录、工作流、任务的打开速度。 | 2024-04-03 | - |
数据质量 | 新增 新增批量导入质量规则：支持通过导入 Excel 文件批量创建质量规则。 新增批量导出质量执行实例：支持在运维管理页面批量导出执行实例运行情况。 新增质量任务列表：支持在运维管理页面查看离线周期检测规则的质量任务，方便用户了解具体的任务执行情况。 新增质量任务告警：支持在运维管理页面对质量任务设置告警信息。当质量任务执行失败时，会对用户进行通知。 优化 优化质量规则触发逻辑：支持将质量规则的触发条件设置为区间值。 优化质量任务执行逻辑：对于使用中低等级规则的质量任务，其执行顺序与其所关联生产调度的下游任务由串行改为并行。 | 2024-04-03 | - |
数据集成 | 新增 集成资源组支持单独购买实时包。 集成资源组支持跨项目共享。 集成告警可以指定时间段。 支持分布式 TDSQL MySQL 离线和实时读写。 离线任务新增多项能力： 离线任务达梦支持 upsert 写入模式； 离线任务 HBase 支持竖表读取； 离线任务 starrocks 作为源端支持设置 query_timeout 等高级参数； 离线任务支持 DLC“Spark 作业”类型计算引擎。 实时同步任务全量阶段新增 at-least-once 同步模式，适用于数据量大且使用非数值型主键、对同步性能要求高的场景。当前支持源端为 MySQL、TDSQL-C MySQL、TDSQL-MySQL 类型的数据源。 优化： 离线任务 FTP/SFTP 到 HDFS 的文件传输任务优化，SFTP 新增文件传输模式，支持多文件路径读取 离线任务 PostgreSQL 表名支持特殊字符 实时任务优化 DLC 写入，包括原小文件合并调整为写入优化、支持大小写表名、支持自动创建分区表、支持列表更自动同步、支持 SortOrder 设置、解决数据重复问题、全面提升 DLC 写入性能等 实时同步任务Doris相关优化，如自动建表修复 comment 乱码问题、表名支持中划线 -、整库任务支持自动分区分桶、新增删除列、重命名列、变更列类型三种 DDL 响应自动变更、全面提升 Doris 写入性能等 实时同步任务全增量同步进度展示优化。全量阶段新增同步进度展示，增量阶段新增业务延迟指标展示。当前支持源端为 MySQL、Oracle、Postgresql 类型的数据源。 | 2024-04-03 | - |
基础平台 | 新增 WeData 新增国际站法兰克福区部署，支持客户进行购买使用。 新增支持 TDSQL MySQL 类型，数据源 TDSQL-C MySQL、TDSQL PostgreSQL 新增支持通过云实例模式接入。 优化 企业微信群的告警方式支持推送至责任人。 支持绑定 DLC“Spark 作业”类型计算引擎，并在集成、开发等模块进行使用。 | 2024-04-03 | - |
2024年3月
如下表格介绍了数据开发治理平台 WeData 3月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 在开发空间中可以对脚本快捷创建编排空间的任务。 数据开发新增 TDSQL-PostgreSQL 任务节点和调度。 工作流调试支持自定义并发度。 新增数据探索模块适配 DLC 引擎。 优化 任务超时时间可以自定义到5分钟级别。 新建工作流中不再单独提供默认的 SparkSQL 任务参数。 数据管理建表适配 PG。 跨项目克隆功能提供只克隆依赖关系，不克隆上游任务的功能。 优化告警信息，增加展示：任务类型、任务责任人、规则名称、告警类型及详细配置等信息。 运维模块日志：新增日志换行功能；统一各任务类型日志执行步骤。 | 2024-03-07 | - |
数据质量 | 新增 同一数据表的不同规则支持配置不同的执行策略和订阅信息。 支持查看质量规则告警信息。 优化 告警消息内容新增：项目、规则名称、规则内容、实际值、告警触发时间、告警接收人。 | 2024-03-07 | - |
数据集成 | 新增 支持跨主账号的 MySQL 数据源离线与实时同步。 支持表单、画布、脚本模式转换。 离线任务新增多项能力： 离线任务 TCHouse-P 、PostgreSQL、SqlServer、Oracle 数据源支持 upsert 写入； 离线任务 Oracle、DM 数据源支持分库分表读取； 离线任务 HDFS、Kudu 自定义源支持 kerberos 安全认证； 离线任务支持 TDSQL PostgreSQL 离线读写。 实时单表任务支持 Kafka ogg-json 序列化格式。 实时整库同步、单表同步，支持无主键 MySQL 表和 MySQL 空表。 实时单表任务支持达梦 DM V8 数据源作为来源端。 实时运维支持反压监控指标展示，体现源端和目标端的写入性能。 实时运维支持启停等历史操作记录。 实时任务支持微信小程序告警及运维。 优化 支持 schema 的数据源统一增加 schema 配置项。 离线集成运行日志增强查看的易用性。 实时实例运维批量运行操作优化。 实时单表任务支持 TDSQL-C 数据来源，与原来的 MySQL 数据源拆开。 实时整库同步 Doris 批量建表界面失败后支持关闭。 | 2024-03-07 | - |
平台基础 | 新增 上线新版功能菜单，增加菜单收藏等功能。 新增支持 TDSQL PostgreSQL 数据源类型。 优化 绑定 DLC 引擎支持指定默认数据库。 整体优化审批流程，支持对任务提交、库表申请、API 申请等场景进行审批。 | 2024-03-07 | - |
2024年1月
如下表格介绍了数据开发治理平台 WeData 1月版本的重要产品功能发布动态。
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据开发 | 新增 支持在编排空间中导入数据集成模块中已经配置好的集成任务。 变量管理支持同一个变量配置调试运行值和周期调度值，方便实现在调试和周期调度的时候使用不同的值。 调度依赖关系支持自定义偏移量的配置。 任务告警支持配置告警次数、告警间隔时间、免打扰时间。 支持针对补录、重跑实例配置告警。 运维大屏增加工作流视角。 优化 支持在编排空间跳转到任务实例运维页面。 编排空间任务支持查看调度状态和快速提交。 支持查看近3个月的补录计划。 | 2024-01-31 | - |
数据质量 | 新增 支持多表/多字段批量创建单规则，支持单表/单字段批量创建多规则。 支持查看全部规则、按模板查看规则。 | 2024-01-31 | - |
数据服务 | 新增 支持动态 SQL 模式来生成 API，涵盖了 Mybatis 语法的常见标签类型：if、choose、when、otherwise、trim、foreach、where，实现空值校验、多值遍历、动态查表、动态排序及聚合等复杂查询逻辑。 优化 支持 post 模式下 body 传参方式，方便客户定制参数体。 告警扩展了飞书渠道。 | 2024-01-31 | |
元数据 | 新增 新增了元数据查询增量和全量接口，方便用户定制数据治理能力。 优化 优化了部分功能的元数据获取性能，提升用户体验。 | 2024-01-31 | - |
数据集成 | 新增 支持 TCHouse-P 自定义数据源离线读写和实时写入。 Iceberg 目标端支持底层存储为 CHDFS 且开启 Kerberos 场景。 告警规则支持按照值班表告警。 离线同步支持 TDSQL-C > DLC 一键建表操作。 离线任务新增多项能力： 离线任务支持导入到数据开发编排空间； 离线任务支持批量创建离线单表任务； 离线任务支持达梦 DM V8 读写； 离线任务 COS/HDFS/Rest API 来源端支持跳过表头，目标端支持包含表头； 离线任务支持展示运行中的任务监控指标，增加读、写等待时间。 实时整库新增 Oracle > DLC 同步链路。 实时整库同步全量阶段支持自动新增列。 实时整库同步到 Doris 支持列类型变更。 实时运维支持强制暂停操作，并支持带状态重启。 优化 ES 索引输入交互优化、ES 检索条件支持格式校验、字段配置页面交互优化。 单表任务元数据获取优化为分页滚动加载。 离线任务支持 Iceberg 源端并发读取。 实时任务 DLC 写入端接口和性能优化。 实时同步任务告警规则未按照预定规则告警的问题修复。 | 2024-01-31 | - |
平台基础 | 新增 新增执行资源组监控功能，支持查看资源使用率、资源使用趋势、运行中的实例、排队中的实例等指标。 数据源管理新增资源组连通性测试功能，支持测试当前数据源与执行资源组间的连通性，并提供失败原因诊断能力。 数据源新增支持 TCHouse-P 类型。 正式发布国内站香港区。 | 2024-01-31 | - |