文档中心>消息队列 CKafka 版>通用参考>连接器>CKafka to CKafka 公网实例同步任务说明

CKafka to CKafka 公网实例同步任务说明

最近更新时间:2024-10-09 15:41:31

我的收藏

CKafka to CKafka 公网实例同步规则说明

CKafka 连接器 K2K 支持 自建Kafka(公网)到腾讯云 CKafka、自建 Kafka(公网)到自建 Kafka(公网)、腾讯云 CKafka 到自建 Kafka(公网)三种类型实例之间元数据、消息数据的同步,暂时不支持消费位点信息的同步。
公网同步包括自建 Kafka(公网)到 腾讯云 CKafka、自建 Kafka(公网)到自建 Kafka(公网)、腾讯云 CKafka 到自建 Kafka(公网)三种情况,这三种情况的可用性相同。
同步元数据规则:分为初始化同步和定时同步。
初始化同步:如果任务启动,会查看 Topic 是否新建,如果没有,则尽可能保持和原来的配置一直去在下游初始化新建 Topic,然后启动任务。如果下游本身就存在对应 Topic,则不会触发初始化同步。
定时同步:任务启动之后,会按一定时间周期性将上游的部分元数据同步到下游,同步周期:3分钟。
同步消息数据规则:将上游 CKafka 中存在的消息数据同步到下游 CKafka 对应 Topic 中,如果开启了同步到相同分区,消息会固定同步到下游对应的相同分区中。
涉及网络类型为公网的 K2K 同步不支持同步消费位点。

公网同步类型演示

自建 Kafka(公网)到 腾讯云 CKafka





腾讯云 CKafka 到自建 Kafka(公网)





自建 Kafka(公网)到自建 Kafka(公网)





仅同步元数据

支持同步的元数据

初始化同步支持的元数据
定时同步支持的元数据
分区数
副本数
retention.ms
cleanup.policy
min.insync.replicas
unclean.leader.election.enable
segment.ms
retention.bytes
max.message.bytes
消费组
retention.ms(存在特殊情况)
cleanup.policy
min.insync.replicas
unclean.leader.election.enable
segment.ms
retention.bytes(存在特殊情况)
max.message.bytes
消费组
说明:
定时同步暂不支持同步副本数。
定时同步存在如下特殊情况:retention.ms 和 retention.bytes 这两项元数据,目标 Topic 即下游对应元数据值为-1时,才会同步,其他情况下这两项元数据均不会定时同步。

元数据未同步情况下系统设定的默认值

说明:
该配置上游不存在情况或者非法会使用默认值替代。
元数据
默认值
retention.ms
604800000(7天)
cleanup.policy
delete
min.insync.replicas
1
unclean.leader.election.enable
false
segment.ms
604800000
retention.bytes
默认值取决于 Kafka 配置
max.message.bytes
1048588

同步元数据和消息数据

元数据

支持同步的元数据

初始化同步支持的元数据
定时同步支持的元数据
分区数
副本数
retention.ms
cleanup.policy
min.insync.replicas
unclean.leader.election.enable
segment.ms
retention.bytes
max.message.bytes
消费组
retention.ms(存在特殊情况)
cleanup.policy
min.insync.replicas
unclean.leader.election.enable
segment.ms
retention.bytes(存在特殊情况)
max.message.bytes
消费组
说明:
定时同步暂不支持同步副本数。
定时同步存在如下特殊情况:retention.ms 和 retention.bytes 这两项元数据,目标 Topic 即下游对应元数据值为-1时,才会同步,其他情况下这两项元数据均不会定时同步。

元数据未同步情况下系统设定的默认值

元数据
默认值
retention.ms
604800000(7天)
cleanup.policy
delete
min.insync.replicas
1
unclean.leader.election.enable
false
segment.ms
604800000
retention.bytes
默认值取决于 Kafka 配置
max.message.bytes
1048588

消息数据

支持正常传输。
说明:
支持消息数据同步到相同分区。
消息数据在同步时,下游如果没有同名 Topic,由于公网延时较大,则创建完任务之后承诺分钟级别的延迟同步消息数据。