kafka安装部署

一、Windows环境安装和使用kafka

在kafka官网下载安装包：http://kafka.apache.org/ 解压安装 配置path环境变量 进入kafka文件夹，启动zookeeper： zookeeper-server-start.bat config\zookeeper.properties 启动kafka: kafka-server-start.bat config\server.properties

生产消息： kafka-console-producer.bat --topic my-topic --broker-list localhost:9092 消费消息： kafka-console-consumer.bat --bootstrap-server 127.0.0.1:9092 --topic my-topic

1、consumer == partition 消费速度最高。consumer数 > partition数，多余的consumer空跑，无法分担消费压力。

2、zookeeper作用

存储kafka cluster信息，和 consumer group的Offset

新版本更新为，存储在kafka的系统topic。存储在磁盘。默认保存7天。

常见问题：

type:framework, code:141, msg:kafka client roundtrop error: kafka: Failed to deliver 1

原因：topic不存在

解决方案：提前到kafka实例上添加topic。