2023年12月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
MySQL 数据采集支持过滤空消息 | 如果采集的 MySQL Binlog 日志里包含 MySQL 的指令SQL，例如 Begin Transaction，投递到 CKafka 时将会是空字符串。支持过滤此类空字符串。 | 2023-12-06 |
2023年11月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据同步支持同步 Offset | 在连接器进行 Kafka 实例级别数据同步时，支持选择同步消费位点。 | 2023-11-01 | |
支持连接器订阅源库变更操作同步更新到目标 MySQL 库 | 支持将连接器订阅 MySQL、PostgreSQL数据库订阅到 Topic 里的数据（增删改）同步更新到目标 MySQL 库。会识别数据库的增删改，保持目标表数据与源表的数据一致。 | 2023-11-01 | |
连接器 MySQL 订阅支持自定义时区 | 连接器 MySQL 订阅支持自定义时区 | 2023-11-01 |
2023年09月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
连接器数据流出到 COS 支持分钟级聚合数据 | 连接器数据流出到 COS 支持分钟级聚合 | 2023-09-20 |
2023年08月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
连接器订阅数据库变更数据到 ES 支持自定义字段映射 | 当使用连接器订阅关系型数据库的变更数据到 ES 时，支持自定义映射消息字段名和目标索引字段。 | 2023-8-22 | |
连接器数据流出到 ES 支持指定索引时间 | 使用连接器流出数据到 ES 时，支持指定源数据中的某一字段作为索引时间。默认为消息的投递时间。 | 2023-8-22 |
2023年05月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据流出至 Kafka 支持实例级别数据同步 | 支持 Kafka 实例级别和 Topic 级别同步数据，即支持不同地域实例间的复制迁移功能，也支持不同 CKafka 实例的任意 Topic 之间互相传递数据、自动同步，帮助用户提升业务连续服务的能力，同时提升数据的可靠性。 | 2023-05-08 |
2023年01月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据流出目标新增支持云函数 SCF | 借助云函数 SCF 和 CKafka 连接器，可以非常方便实现 CKafka 消息转出到 COS、ES、CDW 等。 | 2023-01-13 | |
数据同步功能迁移 | “跨地域容灾”最新功能迁移至“实例列表-集群备份”。 “数据同步”最新功能迁移至“连接器-任务列表-数据流出至 CKafka”。 以上功能迁移不影响客户正常使用。 | 2023-01-13 | 集群备份 |
数据处理解析规则支持 JSON 对象数据解析 | 数据处理解析模式新增支持“JSON 对象数组- 单行输出”和“JSON 对象数组- 多行输出”，以提升数据流转效率 | 2023-01-13 | |
数据处理规则支持导出/导入任务配置能力 | 您可以将数据处理规则导出为模板，在后续的数据任务中复制使用，减少重复配置的操作成本。 | 2023-01-13 | |
数据处理支持正则表达式自动生成 | 数据处理支持正则表达式自动生成，适用于日志文本中每行内容为一条原始日志，且每条日志可按正则表达式提取为多个 key-value 键值的日志解析模式。 | 2023-01-13 | |
数据流出到 COS 支持按时间聚合 | 数据流出到 COS 聚合方式新增支持按时间聚合，根据消息量的大小，选取汇聚消息的时间间隔。 | 2023-01-13 |
2022年11月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据库订阅任务支持自动创建 Topic | 新建数据库订阅任务时，数据目标配置支持选择自动创建 Topic 或选择已有 Topic。 | 2022-11-14 | |
MySQL 订阅支持正则匹配库 | 新建 MySQL、TDSQL-C MySQL 数据库订阅任务时，选择数据源库表时支持使用正则匹配时订阅整库或者订阅表。 | 2022-11-14 | |
PostgreSQL 数据流入支持不同表数据分配到不同的 Topic | 新建 PostgreSQL、TDSQL-C PostgreSQL 数据订阅任务时，数据目标配置支持不同表数据分发到不同的 Topic。 | 2022-11-14 | |
支持新增订阅的表 | 编辑数据库订阅类任务时，支持新增订阅的表，对任务中已经监听的表，仍维持原有采集逻辑。 | 2022-11-14 | 什么是信令表 |
数据接入任务支持数据压缩 | - | 2022-11-14 |
2022年10月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持任务编排功能 | 对于只有一个数据源、一个数据目标的场景，用户可以使用预设模板一键搭建数据流任务，将数据从源快速集成到指定目标。 | 2022-10-28 | |
新增支持数据目标类型 | 数据目标新增支持时序数据库（CTSDB）和分析型数据库 Doris。 | 2022-10-28 | |
CLS sink 指定日志时间支持精确到毫秒 | - | 2022-10-28 | |
MariaDB数据订阅、TDSQL_C_MYSQL数据订阅优化 | 支持订阅多个数据库。 支持全部库表、批量选择、正则匹配三种选择库表方式。 支持不同数据库表的订阅数据发送到不同的 Topic。 | 2022-10-28 | |
TDSQL-C PostgreSQL 数据订阅、PostgreSQL 数据订阅 | TDSQL-C PostgreSQL 数据订阅、PostgreSQL 数据订阅的数据源配置能力与 MySQL 数据订阅对齐 | 2022-10-28 |
2022年09月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据流出至 PostgreSQL 支持字段默认匹配 | 当上游订阅的 MySQL Binlog/PostgreSQL row-level changes 数据表结构变化时，变化可以同步更新到下游 PostgreSQL。 | 2022-09-15 | |
MySQL 数据订阅支持非 Schema 格式输出 | 新建数据接入任务，配置数据源信息时，可以选择开启/关闭包含 Schema 开关，决定消息输出时 KEY 和 VALUE 内容是否包含 Schema。 | 2022-09-15 | |
数据流出至 CLS 时支持指定其中的一个时间字段作为日志时间 | 新建数据流出任务，配置数据目标信息时，支持将预览数据其中的一个时间字段作为日志时间。 | 2022-09-15 | |
连接管理新增支持类型 | 连接管理新增支持：云数据仓库-PostgreSQL、TDSQL PostgreSQL 版。 | 2022-09-15 | |
数据流出新增支持类型 | 数据流出新增支持：PostgreSQL，云数据仓库-PostgreSQL，TDSQL-C。 | 2022-09-15 | TDSQL-C |
MySQL 数据订阅优化 | 支持订阅多个数据库。 支持全部库表、批量选择、正则匹配三种选择库表方式。 支持不同数据库表的订阅数据发送到不同的 Topic。 | 2022-09-01 | |
支持云上自建的服务（基于 CLB） | 支持云上 CLB 自建的数据库 MySQL、PostgreSQL。 | 2022-09-01 | |
数据处理支持输出 ROW 格式 | - | 2022-09-01 |
2022年08月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
MariaDB，TDSQL-C Mysql 版本支持 binlog 订阅 | - | 2022-08-22 | |
支持 MySQL JDBC source 和 Sink 的接入 | 数据接入与数据流出目标支持 MySQL JDBC。 | 2022-08-22 | |
数据处理和数据流出任务合并 | 创建数据流出任务时可以设置数据处理规则，数据处理后直接流转到下游目标，减少原本数据链路中数据处理环节 CKafka Topic > CKafka Topic 的冗余链路。数据流出目标新增 Kafka 选项。 | 2022-08-22 | |
支持事件中心 | 事件中心将连接器所生成的事件数据进行统一管理、存储、分析和展示，方便您查看和分析，您可以在事件中心查看事件数据详情,同时您也可以为事件配置告警通知规则，及时发现问题并进行处理。 | 2022-08-22 | |
监控指标完善 | 监控功能新增任务监控能力与数据库监控能力。 | 2022-08-22 | |
数据处理支持正则替换 | 设置数据处理规则时，处理 value 支持正则替换处理模式。 | 2022-08-22 | |
支持处理失败的消息投递到用户的 CLS | 数据目标为 ClickHouse、MySQL 和 Elasticsearch Service 时，失败消息处理方式支持投递到用户的 CLS 中。 | 2022-08-22 | |
数据流出到 COS 时支持指定 object 名称 | - | 2022-08-22 |
2022年07月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持连接管理 | 支持单独构建连接，连接创建完成后，可以直接关联到具体的数据任务，作为数据源或者数据目标，无需再重复配置，降低用户的操作成本。 | 2022-07-08 | |
数据接入新增支持数据源 | 数据接入支持 PostgreSQL、TDSQL-C 和 MySQL 数据订阅。 | 2022-07-08 | |
支持单独售卖 Topic | 连接器支持在控制台单独创建 Topic 作为数据任务的数据源或者数据目标。 | 2022-07-08 | |
新建任务页面重构 | 数据接入，数据处理和流出任务统一在任务列表进行管理。 | 2022-07-08 |
2022年05月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持重启任务 | 任务创建完成后，在异常状态下时，可以重启任务，重启任务表示重新开始任务，不会影响到已经处理的数据和相关的 CKafka 实例。 | 2022-05-24 | |
| 支持复制和重建任务 | 当您有大量配置相似的任务时，在第一个任务创建成功后可以通过复制任务功能将任务进行复制。 创建失败的任务可能是因为创建任务时的配置失误，用户可以手动重建任务。 | 2022-05-24 |
| 数据处理和数据流出支持展示消费进度 | - | 2022-05-24 |
| 支持查看最新消息 | - | 2022-05-24 |
2022年04月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
支持 Schema 管理功能 | 连接器支持 Schema 管理功能，您可以将创建好的 Schema 绑定到具体的数据流入任务上，将会按该 Schema 对流入的数据进行格式校验。 | 2022-04-08 | |
HTTP 支持 Schema | 连接器支持在 HTTP 接收数据上报的时候，根据指定的 Schema，对上报数据进行格式校验。 | 2022-04-08 | |
支持数据流出至对象存储 COS | 连接器支持数据流出至对象存储 COS，您可以将 CKafka 数据分发至 COS 以便于对数据进行分析与下载等操作。 | 2022-04-08 | |
数据源类型支持对象存储 COS | 连接器支持接入对象存储 COS 数据，统一管理，再分发给下游的离线/在线处理平台，构建清晰的数据通道。 | 2022-04-08 |
2022年03月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
ES/clickhouse 数据流出任务支持丢弃解析失败消息 | ES/clickhouse 数据流出任务支持丢弃解析失败消息，若不丢弃解析失败消息，则任务异常，转储不再继续。 | 2022-03-09 | |
简单数据处理规格支持 JSONPATH 类型 | JSONPATH 类型用于解析多层嵌套的 JSON 数据，用$符号开头，符号定位到多层 JSON 的具体字段。 | 2022-03-09 | |
支持数据流出至日志服务 CLS | 连接器支持数据流出至日志服务 CLS，您可以将 CKafka 数据分发至日志服务 CLS 便于解决业务问题定位，指标监控，安全审计等问题。 | 2022-04-08 |
2022年01月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
数据源类型支持数据传输服务 DTS | 连接器支持接入 DTS 数据，统一管理，再分发给下游的离线/在线处理平台，构建清晰的数据通道。 | 2022-01-23 | |
支持数据流出至分布式数据仓库 TDW | 连接器支持数据流出至分布式数据仓库 TDW，您可以将 CKafka 数据分发至分布式数据仓库 TDW 以对数据进行存储、查询和分析。 | 2022-01-23 | |
支持数据流出至日志服务 CLS | 连接器支持数据流出至日志服务 CLS，您可以将 CKafka 数据分发至日志服务 CLS 便于解决业务问题定位，指标监控，安全审计等问题。 | 2022-01-23 | |
支持数据流出至 Clickhouse | 连接器支持数据流出至 Clickhouse，您可以将 CKafka 数据分发至数据仓库 Clickhouse 以对数据进行存储、查询和分析。 | 2022-01-23 |
2021年12月
动态名称 | 动态描述 | 发布时间 | 相关文档 |
CKafka 连接器正式上线 | CKafka 连接器是腾讯云上的数据接入和处理平台，一站式提供对数据的接入、处理和分发功能。连接器可以持续不断地接收和采集(APP、Web、云产品日志等)数据，实时处理，低成本搭建数据流转链路，构建数据源和数据处理系统间的桥梁。 | 2021-12-21 |