使用mirrormaker工具同步CDH-kafka数据到TBDS-kafka

把CDH集群的kafka数据同步到TBDS的kafka集群做测试，可以使用自带的mirrormaker工具同步

mirrormaker的原理可以网上查看，详细的命令参考https://my.oschina.net/guol/blog/828487，使用方式相当于先消费CDH的数据，然后再生产到TBDS集群中。

mirrormake到配置及命令启动都在目标集群上，所以下面的操作都在TBDS集群上

1.因为TBDS kafka有开启认证，所以mirromaker指定的生产者配置文件--producer.config  target.producer.configure需要加入认证，同时连接的端口使用6668（TBDS kafka认证方式有两种，社区的开源认证方式为6668端口，TBDS自研认证使用6667端口)，我们使用社区的开源认证方式访问

bootstrap.servers=172.0.x.x:6668,172.0.x.x:6668,172.0.x.x:6668 ##TBDS的kafka broker地址 message.max.bytes=7000000 fetch.message.max.bytes=7500000 max.partition.fetch.bytes=7500000 replica.fetch.max.bytes=7500000 security.protocol=SASL_PLAINTEXT ##加入开源认证配置 sasl.mechamism=PLAIN ##加入开源认证配置

2.消费的集群是CDH集群，客户的CDH集群本身没有开启认证，所以–consume.config target.consume.configure配置文件就按照社区方式配置即可

bootstrap.servers=10.x.x.x:9092,10.x.x.x:9092,10.x.x.x:9092 ##CDH集群的kafka broker地址 message.max.bytes=7000000 fetch.message.max.bytes=7500000 max.partition.fetch.bytes=7500000 replica.fetch.max.bytes=7500000 group.id=xxxx ##原集群的kafka topic group