首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >kafka的机器选型原则

kafka的机器选型原则

原创
作者头像
mariolu
发布2020-06-22 00:55:51
发布2020-06-22 00:55:51
1.4K0
举报

一、硬盘

kafka磁盘, 会持久化每条消息到硬件存储,当达到一定数量时,broker成功接收才通知client发送成功,这时候才允许删磁盘。消息越快写到磁盘,给客户端的请求延时越低。消息会被保存一段时间再删除。

kafka压缩值得是将消息压缩存到磁盘,可以节省一定的磁盘空间需要,取决于压缩比

kafka因为是顺序写磁盘,所以对ssd优势不是很敏感。所以对成本有着重考虑的话,也可以选择机械硬盘

容灾方面,kafka除了RAID(一般采用RAID10,兼具速度和安全)还有自身的JBOD方案

二、内存

内存规划原则是

尽量分配更多的内存给os的page cache

不要设置broker为过大堆内存,不超过6G

Page cache大小超过一个日志段大小

三、cpu

对cpu没啥要求吗,也有的,一个是需要多核,因为kafka会创建几十个后台线程,多个辣鸡回收线程。主频可以不要求高,但是核数一定要得到保证

四、网络

业务一般使用kafka具有 日高峰点,所以考虑kafka网络带宽需要,测试高峰值的突发流量,一般以1/3的能力容量来保证。

同时还要考虑机房选型

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、硬盘
  • 二、内存
  • 三、cpu
  • 四、网络
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档