Kafka to CKafka 同步数据规则说明
CKafka 连接器 K2K 插件支持在控制台上进行实例之间的元数据，消息数据和消费位点同步，具体的规则说明如下：
同步元数据规则：分为初始化同步和定时同步。
初始化同步：如果任务启动，会查看 Topic 是否新建，如果没有，则尽可能保持和原来的配置一在下游初始化新建 Topic，然后启动任务；如果下游本身就存在对应的 Topic，则不会触发初始化同步。
定时同步：任务启动之后，会按一定时间周期性将上游的部分元数据配置同步到下游，同步周期：3分钟。
同步消息数据规则：将上游 CKafka 中存储的消息数据同步到下游 CKafka 对应的 Topic 中，如果开启了同步到相同分区，则消息会固定同步到下游对应的相同分区中（具体参数配置见下文详细说明）。
同步消费位点规则：将上游 CKafka 中存储的消息数据同步到下游 CKafka 对应 Topic 中，同时同步相关的消费组和消费组对该 Topic 所提交的 Offset 信息，注意该 Offset 是映射后的对应关系（具体参数配置见下文详细说明）。
操作步骤
1. 登录 CKafka 控制台。
2. 在左侧导航栏单击连接器 > 任务列表，选择好地域后，单击新建任务。
3. 填写任务名称，任务类型选择数据流出，数据目标类型选择 消息队列（Kafka），单击下一步。
4. 进行数据源配置。
数据源类型：选择整个Kafka实例。
数据源：选择创建好的 Kafka 连接。
同步数据类型：选择需要同步的数据类型。
只同步元数据
只同步元数据
同步数据类型选择“只同步元数据”。
支持同步的元数据
初始化同步支持的元数据 | 定时同步支持的元数据 |
分区数 副本数 retention.ms cleanup.policy min.insync.replicas unclean.leader.election.enable segment.ms retention.bytes max.message.bytes 消费组 | 分区数（存在特殊情况） retention.ms（存在特殊情况） cleanup.policy min.insync.replicas unclean.leader.election.enable segment.ms retention.bytes（存在特殊情况） max.message.bytes 消费组 |
说明：
定时同步暂不支持同步副本数。
定时同步存在如下两种特殊情况：
分区数只能单向增加不能减少，如果下游实例分区已经大于上游，则不会同步。
出于稳定性考虑，retention.ms 和 retention.bytes 这两项元数据，目标 Topic 即下游对应元数据值为-1时（注意：-1为 Kafka 内部定义，代表无限存储），才会同步，其他情况下这两项元数据均不会定时同步。
元数据未同步情况下系统设定的默认值
说明：
该配置上游不存在情况或者非法（非数字、null、空）会使用默认值替代。
元数据 | 默认值 |
retention.ms | 604800000（7天） |
cleanup.policy | delete |
min.insync.replicas | 1 |
unclean.leader.election.enable | false |
segment.ms | 604800000 |
retention.bytes | 默认值取决于 Kafka 配置 |
max.message.bytes | 1048588 |
各 Kafka 版本交叉同步元数据的可支持情况
Kafka 版本 | 0.10.2.1 | 1.1.1 | 2.4.1 | 2.8.1 | 3.2.3 |
0.10.2.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
1.1.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
2.4.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
2.8.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
3.2.3 | 支持 | 支持 | 支持 | 支持 | 支持 |
同步元数据和消息数据
同步数据类型选择“同步元数据和消息数据”。
元数据
支持同步的元数据
初始化同步支持的元数据 | 定时同步支持的元数据 |
分区数 副本数 retention.ms cleanup.policy min.insync.replicas unclean.leader.election.enable segment.ms retention.bytes max.message.bytes 消费组 | 分区数（存在特殊情况） retention.ms（存在特殊情况） cleanup.policy min.insync.replicas unclean.leader.election.enable segment.ms retention.bytes（存在特殊情况） max.message.bytes 消费组 |
说明：
定时同步暂不支持同步副本数。
定时同步存在如下两种特殊情况：
分区数只能单向增加不能减少，如果下游实例分区已经大于上游，则不会同步。
出于稳定性考虑，retention.ms 和 retention.bytes 这两项元数据，目标 Topic 即下游对应元数据值为-1（注：-1为Kafka内部定义，代表无限存储）时，才会同步，其他情况下这两项元数据均不会定时同步。
元数据未同步情况下系统设定的默认值
说明：
该配置上游不存在情况或者非法会使用默认值替代。
元数据 | 默认值 |
retention.ms | 604800000（7天） |
cleanup.policy | delete |
min.insync.replicas | 1 |
unclean.leader.election.enable | false |
segment.ms | 604800000 |
retention.bytes | 默认值取决 Kafka 配置 |
max.message.bytes | 1048588 |
各 Kafka 版本交叉同步元数据的可支持情况
Kafka 版本 | 0.10.2.1 | 1.1.1 | 2.4.1 | 2.8.1 | 3.2.3 |
0.10.2.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
1.1.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
2.4.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
2.8.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
3.2.3 | 支持 | 支持 | 支持 | 支持 | 支持 |
消息数据
各 Kafka 版本交叉同步消息数据的可支持情况：
Kafka 版本 | 0.10.2.1 | 1.1.1 | 2.4.1 | 2.8.1 | 3.2.3 |
0.10.2.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
1.1.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
2.4.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
2.8.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
3.2.3 | 支持 | 支持 | 支持 | 支持 | 支持 |
说明：
支持消息数据同步到相同分区。
消息数据在同步时，下游如果没有同名 Topic，则创建完任务之后大概会有10分钟左右的延迟才会同步消息数据。
同步元数据、消息数据和消费位点
同步数据类型选择：同步元数据、消息数据和消费位点。
元数据
支持同步的元数据
初始化同步支持的元数据 | 定时同步支持的元数据 |
分区数 副本数 消费组 retention.ms cleanup.policy min.insync.replicas unclean.leader.election.enable segment.ms retention.bytes max.message.bytes | 分区数 消费组 |
关于定时同步的使用限制：
定时同步暂不支持同步副本数。
定时同步存在特殊情况：分区数只能单向增加不能减少，如果下游实例分区已经大于上游，则不会同步。
新增的 topic 会同步一次，后续该 topic 的配置变更不会定时同步：
原因：对于 topic 级别的配置，例如：retention.ms，cleanup.policy，min.insync.replicas，unclean.leader.election.enable，segment.ms，retention.bytes，max.message.bytes配置，由于存在稳定性风险，默认情况下，只在新建连接任务的初始状态，元数据会完整同步一次，后续 topic 变更则不同步（定时同步 topic 变更的风险：客户在不知道存量任务的情况下，修改上游 topic 配置（如缩短消息时间），此时下游如果同步该变更，会导致下游在未及时消费情况下，出现大量丢失数据的情况，因此，在定时同步配置中，不对topic变更进行同步）
同步重配的解决方案：如果客户需要变更存量任务中的 topic 并且同步配置，由于上述原因，建议客户手动同步修改上下游的 topic 配置，避免出现丢数据或稳定性问题。
各 Kafka 版本交叉同步元数据的可支持情况
Kafka 版本 | 0.10.2.1 | 1.1.1 | 2.4.1 | 2.8.1 | 3.2.3 |
0.10.2.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
1.1.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
2.4.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
2.8.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
3.2.3 | 支持 | 支持 | 支持 | 支持 | 支持 |
消息数据
各 Kafka 版本交叉同步消息数据的可支持情况
Kafka 版本 | 0.10.2.1 | 1.1.1 | 2.4.1 | 2.8.1 | 3.2.3 |
0.10.2.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
1.1.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
2.4.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
2.8.1 | 支持 | 支持 | 支持 | 支持 | 支持 |
3.2.3 | 支持 | 支持 | 支持 | 支持 | 支持 |
说明：
支持消息数据同步到相同分区。
本功能会同步上游 Topic 的消费位点，您可以选择从最开始或者最新位置开始消费。
消费位点
版本 | 0.10.2.1 | 1.1.1 | 2.4.1 | 2.8.1 | 3.2.3 |
0.10.2.1 | 版本不支持 | 版本不支持 | 版本不支持 | 版本不支持 | 版本不支持 |
1.1.1 | 版本不支持 | 支持 | 支持 | 支持 | 支持 |
2.4.1 | 版本不支持 | 支持 | 支持 | 支持 | 支持 |
2.8.1 | 版本不支持 | 支持 | 支持 | 支持 | 支持 |
3.2.3 | 版本不支持 | 支持 | 支持 | 支持 | 支持 |
说明：
0.10.2.1 版本不支持同步消费位点，因此 K2K 同步 CKafka 实例时，上下游中若包含0.10.2.1版本，则不支持创建同步消费位点的任务。
