有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

操作场景

CKafka 连接器提供的数据流出能力,支持将数据流出至 CKafka ,实现 Kafka 实例级别和 Topic 级别同步数据,即支持不同地域实例间的复制迁移功能,也支持不同 CKafka 实例的任意 Topic 之间互相传递数据、自动同步,帮助用户提升业务连续服务的能力,同时提升数据的可靠性。

前提条件

若进行 Topic 级别数据同步,您需要提前创建好源 Topic 与目标 Topic。Topic 级别数据同步支持跨地域,在创建任务时可以选择其他地域的 topic。
若进行实例级别数据同步,您需要提前创建好 Kafka 连接。实例级别数据同步支持跨地域,在创建数据源连接时可以选择其他地域的 Kafka 实例。

操作步骤

Topic级别数据同步
实例级别数据同步
1. 登录 CKafka 控制台
2. 在左侧导航栏单击连接器 > 任务列表,选择好地域后,单击新建任务
3. 填写任务名称,任务类型选择数据流出,数据目标类型选择 消息队列(Kafka),单击下一步
数据源所属地域:支持选择其他地域的数据源。
数据源:选择数据源
弹性 Topic:选择提前创建好的弹性 Topic,详情参见 Topic 管理
CKafka 实例内 Topic:选择在 CKafka 创建好的实例和 Topic,若实例设置了ACL 策略,请确保选中的 topic 有读写权限,详情参见 创建 Topic
起始位置:选择转储时历史消息的处理方式,topic offset 设置。
4. 设置上述信息后,单击下一步,单击预览 Topic 消息,将会选取源 Topic 中的第一条消息进行解析。
说明
目前解析消息需要满足以下条件:
消息为 JSON 字符串结构。
源数据必须为单层 JSON 格式,嵌套 JSON 格式可使用 数据处理 进行简单的消息格式转换。
5. (可选)开启对源数据进行数据处理按钮,具体配置方法请参见 简单数据处理
6. 单击下一步,配置数据目标信息。
目标 Topic 类型:选择数据流转目标 Topic
弹性 Topic:选择提前创建好的弹性 Topic,详情参见 Topic 管理
CKafka 实例内 Topic:选择在 CKafka 创建好的实例和 Topic,若实例设置了ACL 策略,请确保选中的 topic 有读写权限,详情参见 创建 Topic
消息复制倍数:消息复制倍数设置为N,源端写一条消息,目标端写N条消息。
7. 单击提交,完成任务创建,在连接列表页面可以看到创建好的数据同步任务。
说明:
任务创建成功后,会自动开始数据同步,数据实时复制。

1. 登录 CKafka 控制台
2. 在左侧导航栏单击连接器 > 任务列表,选择好地域后,单击新建任务
3. 填写任务名称,任务类型选择数据流出,数据目标类型选择 消息队列(Kafka),单击下一步
数据源类型:整个Kafka实例。
数据源:选择创建好的 Kafka 连接。
同步数据类型:选择需要同步的数据类型。
只同步元数据:同步源实例内 Topic 和 Consumer Group 的元数据
同步元数据和消息数据:同步源实例内的元数据和消息数据。
同步元数据、消息数据和消费位点:源实例消费组的消费位点更新会同步更新到目标实例的同名消费组。

说明:
当需要同步元数据的时候,有两个参数不符合条件则会无法同步。
目标 Topic 分区数大于源 Topic 分区数,分区数不能同步。
目标 Topic 与源 Topic 副本数不一致,副本数不能同步。
当需要同步消费位点的时候,如下情况可能导致位点对齐不准。
源端和目标端存在同名 Topic,目标端 Topic 存在其它写入方。
源端和目标端存在同名 Topic,任务重新建立。由于每次任务建立时,数据都会将新建任务启动时读取的最新位置同步至下游,不同步历史数据,历史数据会在这种情况下丢弃。
4. 单击下一步,配置数据目标信息。
数据目标:选择创建好的 Kafka 连接。
5. 单击提交,完成任务创建,在连接列表页面可以看到创建好的数据同步任务。
说明:
任务创建成功后,会自动开始数据同步,数据实时复制。