CKafka to CKafka 公网实例同步规则说明
CKafka 连接器 K2K 支持 自建Kafka(公网)到腾讯云 CKafka、自建 Kafka(公网)到自建 Kafka(公网)、腾讯云 CKafka 到自建 Kafka(公网)三种类型实例之间元数据、消息数据的同步,暂时不支持消费位点信息的同步。
公网同步包括自建 Kafka(公网)到 腾讯云 CKafka、自建 Kafka(公网)到自建 Kafka(公网)、腾讯云 CKafka 到自建 Kafka(公网)三种情况,这三种情况的可用性相同。
同步元数据规则:分为初始化同步和定时同步。
初始化同步:如果任务启动,会查看 Topic 是否新建,如果没有,则尽可能保持和原来的配置一直去在下游初始化新建 Topic,然后启动任务。如果下游本身就存在对应 Topic,则不会触发初始化同步。
定时同步:任务启动之后,会按一定时间周期性将上游的部分元数据同步到下游,同步周期:3分钟。
同步消息数据规则:将上游 CKafka 中存在的消息数据同步到下游 CKafka 对应 Topic 中,如果开启了同步到相同分区,消息会固定同步到下游对应的相同分区中。
涉及网络类型为公网的 K2K 同步不支持同步消费位点。
公网同步类型演示
自建 Kafka(公网)到 腾讯云 CKafka



腾讯云 CKafka 到自建 Kafka(公网)



自建 Kafka(公网)到自建 Kafka(公网)



仅同步元数据
支持同步的元数据
初始化同步支持的元数据 | 定时同步支持的元数据 |
分区数 副本数 retention.ms cleanup.policy min.insync.replicas unclean.leader.election.enable segment.ms retention.bytes max.message.bytes 消费组 | retention.ms(存在特殊情况) cleanup.policy min.insync.replicas unclean.leader.election.enable segment.ms retention.bytes(存在特殊情况) max.message.bytes 消费组 |
说明:
定时同步暂不支持同步副本数。
定时同步存在如下特殊情况:retention.ms 和 retention.bytes 这两项元数据,目标 Topic 即下游对应元数据值为-1时,才会同步,其他情况下这两项元数据均不会定时同步。
元数据未同步情况下系统设定的默认值
说明:
该配置上游不存在情况或者非法会使用默认值替代。
元数据 | 默认值 |
retention.ms | 604800000(7天) |
cleanup.policy | delete |
min.insync.replicas | 1 |
unclean.leader.election.enable | false |
segment.ms | 604800000 |
retention.bytes | 默认值取决于 Kafka 配置 |
max.message.bytes | 1048588 |
同步元数据和消息数据
元数据
支持同步的元数据
初始化同步支持的元数据 | 定时同步支持的元数据 |
分区数 副本数 retention.ms cleanup.policy min.insync.replicas unclean.leader.election.enable segment.ms retention.bytes max.message.bytes 消费组 | retention.ms(存在特殊情况) cleanup.policy min.insync.replicas unclean.leader.election.enable segment.ms retention.bytes(存在特殊情况) max.message.bytes 消费组 |
说明:
定时同步暂不支持同步副本数。
定时同步存在如下特殊情况:retention.ms 和 retention.bytes 这两项元数据,目标 Topic 即下游对应元数据值为-1时,才会同步,其他情况下这两项元数据均不会定时同步。
元数据未同步情况下系统设定的默认值
元数据 | 默认值 |
retention.ms | 604800000(7天) |
cleanup.policy | delete |
min.insync.replicas | 1 |
unclean.leader.election.enable | false |
segment.ms | 604800000 |
retention.bytes | 默认值取决于 Kafka 配置 |
max.message.bytes | 1048588 |
消息数据
支持正常传输。
说明:
支持消息数据同步到相同分区。
消息数据在同步时,下游如果没有同名 Topic,由于公网延时较大,则创建完任务之后承诺分钟级别的延迟同步消息数据。