Apache RocketMQ 刷盘策略与复制策略

Apache RocketMQ 刷盘策略与复制策略

Apache RocketMQ 系列:

Apache RocketMQ之JMS基本概念及使用:https://www.jianshu.com/p/d2e3fd77c4f4 Apache RocketMQ 基础概念及架构解析:https://www.jianshu.com/p/95ab928960b3 Apache RocketMQ 的基础特性介绍:https://www.jianshu.com/p/570680b32590 Apache RocketMQ 集群搭建(两主两从):https://www.jianshu.com/p/b090138cf52c Apache RocketMQ 刷盘策略与复制策略: https://www.jianshu.com/p/d66b381428bb


RocketMQ 的所有消息都是持久化的,先写入系统 PAGECACHE,然后刷盘,可以保证内存与磁盘都有一份数据,访问时,直接从内存读取。

异步刷盘(ASYNC_FLUSH):

1.png

返回成功状态时,消息只是被写入内存 pagecache,写操作返回快,吞吐量达,当内存里的消息积累到一定程度时,统一出发写磁盘动作,快速写入。

在有 RAID 卡,SAS 15000 转磁盘测试顺序写文件,速度可以达到 300M 每秒左右,而线上的网卡一般都为千兆网卡,写磁盘速度明显快于数据网络入口速度,那举是否可以做到写完内存就吐用户返回,由后台线程刷盘呢?

  1. 由于磁盘速度大于网卡速度,那么刷盘的进度肯定可以跟上消息的写入速度。
  2. 万一由于此时系统压力过大,可能堆积消息,除了写入 IO,还有读取 IO,万一出现磁盘读取落后情况, 会不会导致系统内存溢出,答案是否定的,原因如下: a) 写入消息到 pagecache 时,如果内存不足,则尝试丢弃干净的 page,腾出内存供新消息使用,策略是 LRU 方式。 b) 如果干净页不足,此时写入 pagecache 会被阻塞,系统尝试刷盘部分数据,大约每次尝试 32 个 page,来找出更多干净 page。

综上,内存溢出的情冴不会出现。

同步刷盘(SYNC_FLUSH):

2.png

返回成功状态时,消息已经被写入磁盘。

消息写入内存 pagecache 后,立即通知刷盘线程,刷盘完成后,返回消息写成功的状态。

同步刷盘与异步刷盘的唯一区别是异步刷盘写完 pagecache 直接返回,而同步刷盘需要等待刷盘完成才返回, 同步刷盘流程如下:

  1. 写入 pagecache 后,线程等待,通知刷盘线程刷盘。
  2. 刷盘线程刷盘后,唤醒前端等待线程,可能是一批线程。
  3. 前端等待线程吐用户返回成功。
复制策略:
同步复制(SYNC_MASTER):

master 和 slave 都写成功后返回成功状态。好处是如果master出故障,slave上有全部备份,容易恢复。缺点是增大延迟,降低吞吐量。

异步复制(ASYNC_MASTER):

只要 master 写成功就返回成功状态。好处是低延迟、高吞吐,缺点是如果 master 出故障,数据没有写入 slave,就会有丢失。

推荐策略: 异步刷盘(ASYNC_FLUSH) + 同步复制(SYNC_MASTER)。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券