前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >关于kafka集群搭建前后

关于kafka集群搭建前后

作者头像
全栈程序员站长
发布2022-08-11 20:50:34
1270
发布2022-08-11 20:50:34
举报

大家好,又见面了,我是你们的朋友全栈君。

近期搭建了kafka集群服务器,遇到了问题进行记录

1.遇到某台服务器网卡出现问题,导致无效,因为网卡是集成的,即是zookeeper组中一个,也是kafka的brokers之一

解决办法:重新更换服务器,重装系统,进行安全配置,在配置好zookeeper和kafka,和损坏的服务器一样的配置

2.替换服务器后,遇到过了数据量太大,其中替换的服务器磁盘利用率不断增加,达到最大值,导致服务启动不了,而其他集群却60%左右

解决办法:将替换服务器的部分历史数据删除,重启zookeeper和kafka服务器,将所有服务器的kafka配置项中的数据保留时间为2小时,(由于下游节点有消费者在不停的消费),并在配置项设置了数据动态平衡,观察结果,发现ok

3.由于数据量比较大,需要扩容两台服务器,有个小失误就是,应该先分区为broker总数量(包括新增的)倍数,再进行扩容

kafka集群调优可参照网址 https://www.iteblog.com/archives/1879.html 今天看完后,发现集群还有更大的优化空间,

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/131285.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年4月2,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档