Kafka & Zookeper在K8s中的生产部署
Kafka & Zookeper在K8s中的生产部署
提问于 2017-07-24 22:18:53
有没有人对生产环境的Kafka和ZK配置有什么建议？
我在网上看了一下，在压缩、RAM方面有一些报告配置的链接。等，但与ZK和Kafka实例的数量无关...
我的部署有5个zoo和3个kafka实例：
NAME READY STATUS RESTARTS AGE
kafka-0 0/1 Running 0 12s
kafka-1 0/1 Running 0 12s
kafka-2 0/1 Running 0 12s
zoo-0 0/1 Running 0 12s
zoo-1 0/1 Running 0 12s
zoo-2 0/1 Running 0 12s
zoo-3 0/1 Running 0 12s
zoo-4 0/1 Running 0 12s 我得到的结论是，最好(单独)部署一个Zk集群，然后指向那个集群。Kubernetes上的集群通信情况如何？
任何帮助或建议都很感谢-谢谢
回答 1
Stack Overflow用户
发布于 2017-07-27 01:49:54
我不是这方面的专家，但我会先试一试。
我不明白的一件事是为什么你有比kafka更多的zookeeper -> Zookeeper是kafka的元数据存储，所以你可以从一个zookeeper开始，处理故障转移你可以使用3个zookeeper。
因此，要拥有一个简单的Kafka生产集群，您可以从3/5个Kafka节点和3个zookeepers开始。
Kafka磁盘大小应该取决于您想要的保留时间。节点的数量应该取决于你想要的并行化。
我不知道Kubernetes，所以不确定。但是zookeeper通常应该为每个基础设施都有单独的根文件夹，并且3个zookeeper应该是很好的开始。(注意:你可能想尝试使用SSD作为zookeeper磁盘，有人说它很好，有人说没有改进，我建议尝试并验证)
对于生产，我更关心的是监控和确保服务不会停机。可以通过执行以下操作来确保这一点
- Kafka是预写日志，因此请确保在群集级别和主题级别适当设置rendition.bytes和retention.ms
- 监视器对于任何lag，消费者lag Kafka分布是均匀的，您必须监视它以防任何节点重新启动分布可能不均匀。
- 如果您正在处理大量数据，则不要担心压缩。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45282971
复制相关文章
相似问题
腾讯云开发者
