前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >kafka的机器选型原则

kafka的机器选型原则

原创
作者头像
mariolu
发布2020-06-22 00:55:51
1.3K0
发布2020-06-22 00:55:51
举报
文章被收录于专栏:CDN及云技术分享

一、硬盘

kafka磁盘, 会持久化每条消息到硬件存储,当达到一定数量时,broker成功接收才通知client发送成功,这时候才允许删磁盘。消息越快写到磁盘,给客户端的请求延时越低。消息会被保存一段时间再删除。

kafka压缩值得是将消息压缩存到磁盘,可以节省一定的磁盘空间需要,取决于压缩比

kafka因为是顺序写磁盘,所以对ssd优势不是很敏感。所以对成本有着重考虑的话,也可以选择机械硬盘

容灾方面,kafka除了RAID(一般采用RAID10,兼具速度和安全)还有自身的JBOD方案

二、内存

内存规划原则是

尽量分配更多的内存给os的page cache

不要设置broker为过大堆内存,不超过6G

Page cache大小超过一个日志段大小

三、cpu

对cpu没啥要求吗,也有的,一个是需要多核,因为kafka会创建几十个后台线程,多个辣鸡回收线程。主频可以不要求高,但是核数一定要得到保证

四、网络

业务一般使用kafka具有 日高峰点,所以考虑kafka网络带宽需要,测试高峰值的突发流量,一般以1/3的能力容量来保证。

同时还要考虑机房选型

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、硬盘
  • 二、内存
  • 三、cpu
  • 四、网络
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档