垂直扩展Kafka集群与水平扩展Kafka集群的注意事项？
垂直扩展Kafka集群与水平扩展Kafka集群的注意事项？
提问于 2015-08-05 05:08:48
我们正在计划构建一个多TB的Kafka集群。从应该处理世界上最大的Kafka集群的LinkedIn演示来看，他们似乎正在使用一些相当大的服务器。
我们正计划走另一条路:推出许多小的Kafka经纪人，每个经纪人处理几GB。
使用Kafka进行垂直扩展和水平扩展的优缺点是什么？例如对于50TB，具有5个代理，每个代理处理10TB，或者5000个代理，每个代理处理10 or。
这些数字都是编造出来的。
ps:为我们维护5台或5000台服务器的运营成本与其全部自动化的运营成本相同。
回答 1
Stack Overflow用户
发布于 2018-10-16 01:41:08
我的建议是使用5个代理，每个代理10TB，3个数据冗余副本(RF3)。Kafka代理在它们之间产生了大量的串扰/聊天，所以当出现问题时，最好将网络开销以及操作甚至认知开销降至最低。
您提到运营成本对您来说都是一样的。根据我的经验，事情从来没有那么简单。还有设置时间、5000台不同机器的配置、网络流量等。即使全部自动化，5000台服务器也会出现硬件问题，平均是5台服务器的1000倍，所以如果您预计每年会有1%的服务器发生故障，那么代理几乎每周都会出现故障。拥有大型服务器并不能保证没有硬件故障，但可能性较小。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/31819374
复制相关文章
相似问题
腾讯云开发者
