kafka磁盘, 会持久化每条消息到硬件存储,当达到一定数量时,broker成功接收才通知client发送成功,这时候才允许删磁盘。消息越快写到磁盘,给客户端的请求延时越低。消息会被保存一段时间再删除。
kafka压缩值得是将消息压缩存到磁盘,可以节省一定的磁盘空间需要,取决于压缩比
kafka因为是顺序写磁盘,所以对ssd优势不是很敏感。所以对成本有着重考虑的话,也可以选择机械硬盘
容灾方面,kafka除了RAID(一般采用RAID10,兼具速度和安全)还有自身的JBOD方案
内存规划原则是
尽量分配更多的内存给os的page cache
不要设置broker为过大堆内存,不超过6G
Page cache大小超过一个日志段大小
对cpu没啥要求吗,也有的,一个是需要多核,因为kafka会创建几十个后台线程,多个辣鸡回收线程。主频可以不要求高,但是核数一定要得到保证
业务一般使用kafka具有 日高峰点,所以考虑kafka网络带宽需要,测试高峰值的突发流量,一般以1/3的能力容量来保证。
同时还要考虑机房选型
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。