动态发布记录(2024年)

最近更新时间:2024-12-27 09:25:22

我的收藏

2024年12月

动态名称
动态描述
发布时间
相关文档
数据开发
新增:
新增 ssh 任务节点,可以通过 ssh 任务节点在目标机器上执行代码。
编排空间左侧工作流下提供目录管理功能,可以更好地按照目录管理工作流下的任务。
编排空间 SQL 任务类型支持调试运行结果查看(需升级调度资源组到最新版本)。
实例列表支持筛选重跑过的实例。
增加操作记录,支持查看操作时间、操作人、操作明细等信息。目前包含操作:实例重跑、置成功、终止;任务/工作流暂停、下线;任务/实例列表下载。
运维大屏支持查看多项目视角统计信息,可选范围为当前操作人加入的项目。
年周期任务依赖月周期任务、年周期任务依赖年周期任务支持配置依赖最近一次实例数据时间的实例。
优化:
任务列表/实例列表支持下载筛选后的数据。
Hive SQL、Spark SQL、DLC SQL、DLC Spark、DLC PySpark、Shell、PySpark 任务日志内容规范与优化。Pyspark 调整为仅返回客户端和引擎进度日志。
任务列表、实例列表支持针对同时模糊匹配多个任务名称/ID。
2024-12-25
-
数据探索
新增:
Notebook 探索与编排空间联动,支持任务周期性调度。
Notebook 探索支持对接 DLC 标准引擎。
优化:
SQL 探索查询结果增加复制单元格功能。
2024-12-25
-
数据集成
新增:
离线同步 Hive 来源端支持基于 HDFS 文件读取数据
离线同步 Kafka 支持以 Protocol Buffers 格式进行读、写,来源端支持解析嵌套 JSON
离线同步任务支持创建时直接挂载至数据开发 > 编排空间
离线同步任务支持批量提交操作
实时同步整库迁移、分库分表任务支持加减表场景
实时同步任务支持大小写匹配策略
实时同步 Hive 整库链路能力增强:支持 DDL 变更、设置表存储格式、设置分区规则、元数据字段写入等
实时同步日志采集相关功能增加白名单机制,如需使用请申请加入白名单
优化:
离线同步 Hbase 字段同名映射优化,支持解析以列名作为源端、目标端的字段名称进行自动同名映射
离线同步 Rest API 来源端新增高级参数支持连接超时时间、Socket 超时时间设置,支持通过指定每页返回的记录、指定最大请求页数实现动态分页
离线集成 HDFS、Hive、Iceberg、COS、S3、DLC、Hbase 数据源脚本模式冗余代码展示优化
实时同步支持 Oracle 19c 和 12c PDB 模式
实时同步任务运维操作优化:调整运维操作按钮位置、强制暂停新增快照信息展示、提交策略新增从指定位点开始同步(指定位点仅支持 MySQL/TDSQL-C MySQL 数据源)
单表任务数据库选项从只能获取数据源绑定的数据库改为支持获取数据源注册用户能拿到的所有数据库。
实时运维列表将写入延迟替换为业务延迟,新增当前同步位点信息
实时同步整库任务优化链路详情,支持展示任务中涉及的所有库表的同步状态(历史资源组需要进行升级才能使用该功能,如有需要请联系服务人员处理)。
实时整库批量建表、预览匹配表功能下沉到资源组,打通用户数据源网络。
实时同步统计指标界面图表显示优化
2024-12-25
-
基础平台
新增:
标准资源组支持安装 Yum 包,支持安装的 Python 包范围扩充。
WeData 存算引擎增加对接 EMR StarRocks 集群,支持数据集成、开发、质量、服务等功能。
新增 SSH 数据源类型,支持远程执行目标服务器的脚本任务。
MongoDB 数据源连接支持高级参数配置,包括 authSource、authMechanism 等。
数据源授权支持项目简单模式和标准模式的互相授权。
公有云全面上线新版功能菜单。
优化:
数据源管理支持按照显示名称搜索。
数据源模块输入框支持自动过滤“空格”字符。
数据源连通性报错信息增加 request id,便于进行问题排查。
2024-12-25
-
数据资产
新增:
新增支持 GaussDB 和 TDSQL MySQL、EMR-StarRocks 类型资产检索和盘点。
支持 StarRocks、Doris 血缘展示。
优化:
优化资产盘点批量添加表和库,操作更高效。
2024-12-25
-
元数据
新增:
新增支持编辑元数据采集任务的采集范围,并删除不在采集范围内的元数据
元数据采集支持 GaussDB、TDSQL MySQL、EMR-StarRocks。
2024-12-25
-
指标管理
新增:
指标管理
支持原子指标、衍生指标、复合指标
支持指标创建、编辑、发布、下线、删除全生命周期管理
支持指标关联字段、指标转交、指标360视图查看(基础信息、业务口径、技术口径、负责人等)。
维度管理
支持新建、编辑、删除维度
支持维度关联字段、转交、维度360视图等。
2024-12-25
-
数据安全
新增:
支持通过模板方式配置动态脱敏规则。
支持 Wedata 中使用 kyuubi 时动态脱敏能力。
2024-12-25
-
数据质量
新增:
数据质量支持 EMR-StarRocks。
运维管理中,拆分执行时间为实际执行时间计划调度时间
自定义模板支持单表新增规则中配的跨库多表。
2024-12-25
-
数据服务(开白使用)
新增:
数据服务支持 EMR-StarRocks。
数据服务支持向导模式向脚本模式转换。
2024-12-25
-

2024年11月

动态名称
动态描述
发布时间
相关文档
数据开发
新增:
工作流调试运行支持任务间参数传递。
编排空间针对部分引擎提供默认代码片段能力。
编排空间支持调度参数预览能力。
编排空间针对部分 SQL 任务类型提供查询结果表格查看的能力。
任务运维支持补录未来实例数据时间。
数据补录提供按项目开启审批配置。
新增自定义调度日历功能,提供更灵活的任务调度方式。
新增任务空跑配置,空跑任务不会定期生成周期实例。
优化:
支持查看历史实例等待事件/等待上游明细信息。
编排空间工作流画布展示与交互优化。
编排空间/SQL 探索 - 优化代码补全功能。
Shell 任务支持开启 kerberos 认证。
2024-11-25
-
数据探索
新增:
SQL 探索增加支持自定义数据源 Kyuubi、TChouse-P。
2024-11-25
-
数据集成
新增:
实时同步整库迁移新增 MySQL/TDSQL-C MySQL > TCHouse-C 链路
实时同步 OceanBase 读取正式上线。支持 OceanBase > Doris/DLC/Iceberg 3条整库链路和单表同步。
实时同步新增分库分表任务类型,单个任务支持多套分库分表同步。(现阶段开白使用,有需要请联系服务人员)
实时同步新增写入异常关键事件并支持告警订阅
离线同步文件类数据源功能增强:
COS 支持文件传输同步模式,并支持压缩文件读取。
HDFS/SFTP/FTP/COS 目标端支持生成标记完成文件
HDFS/SFTP/FTP/COS 源端支持空文件同步
SFTP/FTP 支持通过 LB 负载均衡进行连接
离线同步来源端新增 BigQuery(国际站地域)、TDengine 数据源,目标端新增 TDengine数据源
离线同步库、schema 配置支持变量设置
离线同步脚本模式支持 SQLDW、SQLDB 数据源读、写
离线同步新增23条一键建表链路:
DLC、SQL Server、TDSQL PostgreSQL、TDSQL MySQL、Oracle、Oceanbase、达梦 > Doris
TDSQL MySQL、TDSQL-C MySQL、达梦 > Hive
TDSQL MySQL、TDSQL PostgreSQL、Oracle、SqlServer、Oceanbase、达梦 > DLC
DLC、SQL Server、TDSQL PostgreSQL、TDSQL MySQL、Oracle、Oceanbase、达梦 > TCHouse-D
任务提交检测新增来源端、目标端权限检测。当前仅支持 MySQL、Oracle、Doris、DLC 数据源,其中 MySQL 支持 binlog 是否开启检测。
离线运维任务状态优化,增加任务下线功能,下线后需在离线同步配置页面重新提交才能重新执行,已提交任务支持下线后导入数据开发-编排空间。
优化:
实时运维优化业务延迟指标在源端无数据或源端服务异常时的计算逻辑,目前除 Mongodb 外的所有整库来源端支持作业业务延迟指标展示。
实时同步 TDSQL-C > DLC 自动建表优化,支持携带 comment 信息
离线同步优化字段长度展示信息
离线同步 mongodb 读写优化:源端支持自定义切割键、目标端通过高级参数支持联合主键
数据集成交互体验升级:任务命名长度校验、批量添加字段、锁定状态任务查看、配置页库表展示、列表页筛选项留存等交互优化
2024-11-25
-
基础平台
新增:
新增主账号级别的用户和角色管理功能,增加主账号管理员、主账号成员、资产管理员三个预设角色。
新增数据源关联任务的检测功能,在删除数据源时支持进行严格管控。
数据源管理新增支持 BigQuery 类型(国际站地域)。
迁移助手任务导入导出支持 DLC 相关任务节点。
国际站新增雅加达地域执行资源组购买功能。
优化:
支持查看调度资源组各项目占用并发数及比例。
支持查看调度资源组执行机版本信息。
项目标准模式支持数据源授权功能。
2024-11-25
-
数据建模
全新功能:
与外部厂商数语合作,在公有云上全新支持数据建模功能,包含模型设计,数据标准等功能,涵盖“事前制定规范,规范化模型设计 - 事中校验进行模型评审,保障模型落标率 - 事后通过模型检查保障数据一致性,完整性。” 提供数据全生命周期的模型管控体系。解决企业数据 不规范、落标难等问题。
2024-11-25
-
数据资产
新增:
我的数据:管理能力,包含管理我负责的、我管理的和我收藏的数据
新增批量转交任务能力,并在监测到人员离职后自动转交其名下资产给指定人员
优化:
数据管理&资产目录支持表中文名展示和检索
库表归属项目升级,支持批量调整归属项目和负责人
2024-11-25
-
数据质量
新增
创建规则时失败的回显功能
运维管理中,目前支持展示关联生产调度的质量任务并设置告警
运维管理中,增加实例执行状态以及实例级别的检测结果
数据监控中,添加批量开启/关闭/配置执行策略/配置告警策略的能力
2024-11-25
-
数据服务
数据服务模块需开白使用
2024-11-25
-

2024年8月

动态名称
动态描述
发布时间
相关文档
数据开发
新增
数据开发的 HiveSQL、SparkSQL 等任务增加 EMR on TKE 引擎数据源的选择。
数据开发 DLC 类型的任务支持 DLC 标准引擎。
工作流提交增加任务上游依赖是否提交的功能检测。
跨项目克隆功能支持模拟克隆,预先判断克隆存在的问题。
新增项目的标准模式,增加发布中心,完善开发、提交、发布的 Dataops 流程。
新增分支和归并逻辑判断节点。
优化:
工作流目录和画布优化任务的分类的展示方式,聚合展示同类型任务节点。
代码搜索支持了离线同步任务更多配置项的搜索。
画布中增加了隐藏跨工作流节点的选项。
SQL IDE 优化部分代码显示、和字段补全能力优化。
运维大屏新增运行中实例数、等待运行实例数、CPU 使用率、内存使用率、并发使用率、磁盘使用率数值及变化趋势。
数据补录支持定义离线同步速率限制、支持补录实例预览。
优化部分任务的日志打印格式。
2024-08-17
-
数据集成
新增:
离线同步支持 CTSDB influxDB 源端、目标端。
离线同步支持 TDMQ-Pulsar(虚拟集群版本)目标端。
离线同步支持 EMR on TKE 引擎的 Hive 数据源读写。
运维中心任务诊断支持数据集成运行态的错误诊断。
实时同步新增 TDSQL-C MySQL > Elasticsearch、MySQL > Hive、TDSQL-C MySQL > Hive 实时整库链路。
实时同步 PostgreSQL 读取能力全面提升,新增 PostgreSQL > Iceberg、PostgreSQL-> DLC 两条整库链路。
实时同步 SQL Server 读取能力全面提升,新增 SQL Server > Iceberg 整库链路,支持一致性语义、DDL 变更策略及系统元数据写入。
实时同步任务支持 Schema 变更关键事件且支持告警订阅。
数据集成离线同步、实时同步支持 DLC 标准引擎。
优化:
离线同步 Sybase 源端支持筛选条件过滤。
离线同步 HDFS 源端新增高级参数,支持文件路径或文件为空、文件路径或文件不存在时任务不报错。
离线同步 ES 目标端支持 wildcard 字段类型。
离线同步 HDFS、S3、COS 目标端支持将未知或不适用的值转为指定字符串。
离线同步 Doris、StarRocks 目标端新增高级参数,支持将数据中与分割符一致的字符替换为自定义符号后再按照分割符分隔数据。
离线同步 OceanBase 读写性能优化(OceanBase 数据源需要开白使用)。
实时同步 SQL Server、Kafka 读取优化。
实时同步任务列表搜索优化。
实时同步达梦数据源新增适配多种数据类型。
实时单表同步 Kakfa 数据到 DLC/TCHouse-D 支持嵌套 json 格式。
提升数据集成元数据加载及查询性能。
2024-08-17
-
基础平台
新增
支持绑定 EMR on TKE 集群作为项目存算引擎,并自动生成相关数据源。
支持绑定 DLC 标准引擎作为项目存算引擎,并自动生成 DLC 数据源。
国际站上线产品功能版本计费功能。
国际站新增中国香港地域执行资源组售卖。
数据源新增支持 CTSDB influxDB、TDMQ-Pulsar(虚拟集群版本)。
优化
MongoDB 数据源支持填入多 IP,保证高可用。
2024-08-17
-
数据资产
全新升级:
全域数据检索:支持全域数据的检索,以及资产的360视图,含业务属性、管理属性、技术属性,以及数据血缘、数据预览、产出关系、变更历史访问日志等,清晰掌握数据资产全方位信息;并提供权限申请、业务信息维护等常用功能快捷入口。
资产盘点:提供自定义资产目录,将有业务价值的、可在团队内流动的且经过盘点治理的数据资产挂载至各个资产目录中,并根据业务管理逻辑清晰分类数据资产、设置标签和重要等级等管理信息,并支持发布、下线全流程规范管理。
资产目录:基于资产盘点的结果,支持查看资产的分布情况,按照目录分类快捷检索各个目录中的资产,以及各类资产的360视图,并提供权限申请、业务信息维护等常用功能快捷入口。帮助数据消费方快速搜索数据,理解数据,使用数据。
2024-08-17
-
数据服务
新增:
支持查询调用日志,可根据日志记录进行分析、排错。
支持腾讯云原生 API 网关,支持原 API 网关(退市中)切换。
优化:
数据源用户名密码修改后,数据服务自动更新。
2024-08-17
-
数据质量
新增:
TCHouse-P 数据源支持 Schema 属性。
优化:
优化质量监控和运维管理页面中,监控对象的展示和筛选。
创建质量规则时,切换为元数据直连接口,提升系统稳定性。
2024-08-17
-

2024年6月

动态名称
动态描述
发布时间
相关文档
数据开发
新增:
新增全新的 SQL 探索模块,为 SQL 探查和结果查看提供全新体验。
调度参数支持获取调度计划时间。
离线集成类型任务支持使用调度参数。
DLC 任务新增网络配置选项。
新增编排空间全新的快捷键、字段补全能力。
函数管理增加 DLC 中创建函数的默认展示。
优化:
优化上游依赖任务配置的选择方式。
优化任务、脚本文件的版本展示。
PySpark/DLC PySpark/TDSQL-PostgreSQL/TCHouse-X SQL/Trino/离线集成任务支持参数传递能力。
重跑操作支持指定部分下游。
任务告警渠道支持钉钉群渠道。
2024-06-28
-
数据集成
新增:
数据集成离线同步支持源端 PostgreSQL 到目标端 Hive、DLC、Doris 的一键建表。
数据集成离线同步批量创建单表任务功能优化,并新增支持 COS、HDFS、SFTP、FTP 数据源。
数据集成离线同步任务源端和目标端支持 MongoDB 6.0 版本。
数据集成实时同步支持 Oracle > StarRocks、MySQL > StarRocks、TDSQL-C MySQL > StarRocks 实时整库链路。
数据集成实时同步-单表任务 Elasticsearch 目标端支持 wildcard 字段类型。
数据集成实时同步-实时整库支持 Kafka 目标端 binlog 将 update-before 和 update-after 的记录合并。
Inlong 控制台地域与 WeData 对齐,新开放上海金融、北京金融、中国香港、新加坡地域
简化 TCHouse-D 数据接入流程,支持从 TCHouse-D 控制台管理 Inlong 实时同步任务
优化:
数据集成任务数据库配置获取策略优化。
数据集成提升元数据加载及查询性能。
数据集成实时同步 DLC 小文件合并优化、DLC 整库同步支持配置阶段批量建表。
数据集成任务提交优化数据源连通性检查。
离线集成支持通过 zookeeper 连接 Hive 数据源保证高可用。
2024-06-28
-
基础平台
新增:
新增腾讯云 MySQL、TCHouse-C、腾讯云 ElasticSearch、腾讯云 MongoDB 数据源类型,支持通过云实例模式进行连接。
新增支持 CAM 腾讯云账号角色登录使用 WeData。
支持平台告警和通知推送到钉钉群。
优化:
Hive 数据源高可用提升,支持通过 zookeeper 进行连接。
2024-06-28
-
数据安全
新增:
全新升级数据安全功能,支持敏感数据分类分级,数据脱敏功能。
2024-06-28
-

2024年5月

动态名称
动态描述
发布时间
相关文档
数据开发
新增
EMR Spark 相关任务支持配置项目级默认应用参数。
开发空间/编排空间/运维中心日志添加跳转 yarn 的链接。
新增任务详情页:运行历史/运行曲线/任务血缘/任务操作历史。
实例运维支持紧急去除实例依赖关系的功能。
优化
任务调度配置,上游任务依赖支持选择主账号下面的所有项目的任务。
任务调度配置,调度依赖支持选择下游任务,支持依赖下游任务上一周期的实例。
任务版本对比优化,调整调度资源组、数据源名称的展示方式。
任务状态优化,增加任务下线功能,下线后需在编排空间重新提交才能继续调度。
2024-05-30
-
数据质量
新增
支持 Doris 数据源。
支持在离线开发任务重跑和补录时,触发质量检测任务。
优化
支持数据目录中查看质量检测任务配置情况。
2024-05-30
-
数据集成
新增:
实时整库同步目标端支持写入日志时间、操作类型等系统元数据。
实时整库同步、单表同步支持 OceanBase 数据来源(开白)。
实时整库同步新增 Oracle > kafka/ckafka 链路。
离线单表&实时单表同步支持源端为 MySQL、TDSQL-C MySQL、TDSQL MySQL、Oracle、SqlServer、PostgreSQL 和达梦 DM 类型时到 TChouse-P、Iceberg 目标端一键建表。
离线同步 ES 数据源支持5.x版本。
离线同步任务文件类数据源(FTP/SFTP/HDFS/COS 等)支持自定义字段分隔符和行分隔符。
离线同步脚本模式支持 Kingbase、Phoenix、Selectdb、Txtfle、TDengine 等多种数据 源
离线同步任务 COS 目标端支持 PARQUET 类型。
优化:
实时同步微信小程序任务运维优化。
实时整库任务 oracle 数据源支持加减表。
实时整库新增表不影响增量同步阶段的表。
离线同步优化 DLC 停止任务逻辑。
离线同步 Hbase 目标端支持配置高级参数。
页面新增正则表达式参考示例、优化库表选择体验等。
2024-05-30
-
数据资产
新增:
离线集成任务,视图,数据服务类型血缘展示。
优化:
变更数据运营为数据资产。
2024-05-30
-
基础平台
新增:
新增 TCHouse-D 数据源类型,支持通过云实例模式进行连接。
新增支持 CAM 服务提供商角色登录使用 WeData。
优化:
调度资源组旧规格全面下线,新购用户按照新规格进行购买。
2024-05-30
-
数据探索
新增
推出全新 Notebook 探索功能,支持创建 Jupyter Notebook 空间,读取腾讯云大数据引擎数据进行数据分析探索和机器学习。
2024-05-30
-

2024年4月

如下表格介绍了数据开发治理平台 WeData 4月版本的重要产品功能发布动态。
动态名称
动态描述
发布时间
相关文档
数据开发
新增
编排空间增加任务依赖关系和事件依赖的查看能力。
新增实例执行历史记录,支持查看实例等待事件/等待上游、等待运行、运行中的开始时间和结束时间。
新增实例操作记录,可查看实例置成功、终止等操作的操作时间、操作人等信息。
实例列表/任务列表支持下载功能。
实例列表增加展示错误码信息。
优化
实例血缘新增列表模式,并支持针对上下游的批量操作能力。
跨项目克隆增加是否自动勾选上游任务的开关。
任务版本中增加审批人信息。
优化任务版本对比查看能力,增加按照任务属性表格方式对比。
优化 IDE 目录、工作流、任务的打开速度。
2024-04-03
-
数据质量
新增
新增批量导入质量规则:支持通过导入 Excel 文件批量创建质量规则。
新增批量导出质量执行实例:支持在运维管理页面批量导出执行实例运行情况。
新增质量任务列表:支持在运维管理页面查看离线周期检测规则的质量任务,方便用户了解具体的任务执行情况。
新增质量任务告警:支持在运维管理页面对质量任务设置告警信息。当质量任务执行失败时,会对用户进行通知。
优化
优化质量规则触发逻辑:支持将质量规则的触发条件设置为区间值。
优化质量任务执行逻辑:对于使用中低等级规则的质量任务,其执行顺序与其所关联生产调度的下游任务由串行改为并行。
2024-04-03
-
数据集成
新增
集成资源组支持单独购买实时包。
集成资源组支持跨项目共享。
集成告警可以指定时间段。
支持分布式 TDSQL MySQL 离线和实时读写。
离线任务新增多项能力:
离线任务达梦支持 upsert 写入模式;
离线任务 HBase 支持竖表读取;
离线任务 starrocks 作为源端支持设置 query_timeout 等高级参数;
离线任务支持 DLC“Spark 作业”类型计算引擎。
实时同步任务全量阶段新增 at-least-once 同步模式,适用于数据量大且使用非数值型主键、对同步性能要求高的场景。当前支持源端为 MySQL、TDSQL-C MySQL、TDSQL-MySQL 类型的数据源。
优化:
离线任务 FTP/SFTP 到 HDFS 的文件传输任务优化,SFTP 新增文件传输模式,支持多文件路径读取
离线任务 PostgreSQL 表名支持特殊字符
实时任务优化 DLC 写入,包括原小文件合并调整为写入优化、支持大小写表名、支持自动创建分区表、支持列表更自动同步、支持 SortOrder 设置、解决数据重复问题、全面提升 DLC 写入性能等
实时同步任务Doris相关优化,如自动建表修复 comment 乱码问题、表名支持中划线 -、整库任务支持自动分区分桶、新增删除列重命名列变更列类型三种 DDL 响应自动变更、全面提升 Doris 写入性能等
实时同步任务全增量同步进度展示优化。全量阶段新增同步进度展示,增量阶段新增业务延迟指标展示。当前支持源端为 MySQL、Oracle、Postgresql 类型的数据源。
2024-04-03
-
基础平台
新增
WeData 新增国际站法兰克福区部署,支持客户进行购买使用。
新增支持 TDSQL MySQL 类型,数据源 TDSQL-C MySQL、TDSQL PostgreSQL 新增支持通过云实例模式接入。
优化
企业微信群的告警方式支持推送至责任人。
支持绑定 DLC“Spark 作业”类型计算引擎,并在集成、开发等模块进行使用。
2024-04-03
-

2024年3月

如下表格介绍了数据开发治理平台 WeData 3月版本的重要产品功能发布动态。
动态名称
动态描述
发布时间
相关文档
数据开发
新增
在开发空间中可以对脚本快捷创建编排空间的任务。
数据开发新增 TDSQL-PostgreSQL 任务节点和调度。
工作流调试支持自定义并发度。
新增数据探索模块适配 DLC 引擎。
优化
任务超时时间可以自定义到5分钟级别。
新建工作流中不再单独提供默认的 SparkSQL 任务参数。
数据管理建表适配 PG。
跨项目克隆功能提供只克隆依赖关系,不克隆上游任务的功能。
优化告警信息,增加展示:任务类型、任务责任人、规则名称、告警类型及详细配置等信息。
运维模块日志:新增日志换行功能;统一各任务类型日志执行步骤。
2024-03-07
-
数据质量
新增
同一数据表的不同规则支持配置不同的执行策略和订阅信息。
支持查看质量规则告警信息。
优化
告警消息内容新增:项目、规则名称、规则内容、实际值、告警触发时间、告警接收人。
2024-03-07
-
数据集成
新增
支持跨主账号的 MySQL 数据源离线与实时同步。
支持表单、画布、脚本模式转换。
离线任务新增多项能力:
离线任务 TCHouse-P 、PostgreSQL、SqlServer、Oracle 数据源支持 upsert 写入;
离线任务 Oracle、DM 数据源支持分库分表读取;
离线任务 HDFS、Kudu 自定义源支持 kerberos 安全认证;
离线任务支持 TDSQL PostgreSQL 离线读写。
实时单表任务支持 Kafka ogg-json 序列化格式。
实时整库同步、单表同步,支持无主键 MySQL 表和 MySQL 空表。
实时单表任务支持达梦 DM V8 数据源作为来源端。
实时运维支持反压监控指标展示,体现源端和目标端的写入性能。
实时运维支持启停等历史操作记录。
实时任务支持微信小程序告警及运维。
优化
支持 schema 的数据源统一增加 schema 配置项。
离线集成运行日志增强查看的易用性。
实时实例运维批量运行操作优化。
实时单表任务支持 TDSQL-C 数据来源,与原来的 MySQL 数据源拆开。
实时整库同步 Doris 批量建表界面失败后支持关闭。
2024-03-07
-
平台基础
新增
上线新版功能菜单,增加菜单收藏等功能。
新增支持 TDSQL PostgreSQL 数据源类型。
优化
绑定 DLC 引擎支持指定默认数据库。
整体优化审批流程,支持对任务提交、库表申请、API 申请等场景进行审批。
2024-03-07
-

2024年1月

如下表格介绍了数据开发治理平台 WeData 1月版本的重要产品功能发布动态。
动态名称
动态描述
发布时间
相关文档
数据开发
新增
支持在编排空间中导入数据集成模块中已经配置好的集成任务。
变量管理支持同一个变量配置调试运行值和周期调度值,方便实现在调试和周期调度的时候使用不同的值。
调度依赖关系支持自定义偏移量的配置。
任务告警支持配置告警次数、告警间隔时间、免打扰时间。
支持针对补录、重跑实例配置告警。
运维大屏增加工作流视角。
优化
支持在编排空间跳转到任务实例运维页面。
编排空间任务支持查看调度状态和快速提交。
支持查看近3个月的补录计划。
2024-01-31
-
数据质量
新增
支持多表/多字段批量创建单规则,支持单表/单字段批量创建多规则。
支持查看全部规则、按模板查看规则。
2024-01-31
-
数据服务
新增
支持动态 SQL 模式来生成 API,涵盖了 Mybatis 语法的常见标签类型:if、choose、when、otherwise、trim、foreach、where,实现空值校验、多值遍历、动态查表、动态排序及聚合等复杂查询逻辑。
优化
支持 post 模式下 body 传参方式,方便客户定制参数体。
告警扩展了飞书渠道。
2024-01-31
元数据
新增
新增了元数据查询增量和全量接口,方便用户定制数据治理能力。
优化
优化了部分功能的元数据获取性能,提升用户体验。
2024-01-31
-
数据集成
新增
支持 TCHouse-P 自定义数据源离线读写和实时写入。
Iceberg 目标端支持底层存储为 CHDFS 且开启 Kerberos 场景。
告警规则支持按照值班表告警。
离线同步支持 TDSQL-C > DLC 一键建表操作。
离线任务新增多项能力:
离线任务支持导入到数据开发编排空间;
离线任务支持批量创建离线单表任务;
离线任务支持达梦 DM V8 读写;
离线任务 COS/HDFS/Rest API 来源端支持跳过表头,目标端支持包含表头;
离线任务支持展示运行中的任务监控指标,增加读、写等待时间。
实时整库新增 Oracle > DLC 同步链路。
实时整库同步全量阶段支持自动新增列。
实时整库同步到 Doris 支持列类型变更。
实时运维支持强制暂停操作,并支持带状态重启。
优化
ES 索引输入交互优化、ES 检索条件支持格式校验、字段配置页面交互优化。
单表任务元数据获取优化为分页滚动加载。
离线任务支持 Iceberg 源端并发读取。
实时任务 DLC 写入端接口和性能优化。
实时同步任务告警规则未按照预定规则告警的问题修复。
2024-01-31
-
平台基础
新增
新增执行资源组监控功能,支持查看资源使用率、资源使用趋势、运行中的实例、排队中的实例等指标。
数据源管理新增资源组连通性测试功能,支持测试当前数据源与执行资源组间的连通性,并提供失败原因诊断能力。
数据源新增支持 TCHouse-P 类型。
正式发布国内站中国香港区。
2024-01-31
-