Hbase memstore 的刷写时机

HBase会在如下几种情况下触发flush操作,需要注意的是MemStore的最小flush单元是HRegion而不是单个MemStore。可想而知,如果一个HRegion中Memstore过多,每次flush的开销必然会很大,因此我们也建议在进行表设计的时候尽量减少ColumnFamily的个数。hbase官方文档总结的刷写时机有6种:

  1. Memstore级别限制:当Region中任意一个MemStore的大小达到了上限(hbase.hregion.memstore.flush.size,默认128MB),会触发Memstore刷新。
  2. Region级别限制:当Region中所有Memstore的大小总和达到了上限(hbase.hregion.memstore.block.multiplier hbase.hregion.memstore.flush.size,默认 2 128M = 256M),会触发memstore刷新。
  3. Region Server级别限制:当一个Region Server中所有Memstore的大小总和达到了上限(hbase.regionserver.global.memstore.upperLimit * hbase_heapsize,默认 40%的JVM内存使用量),会触发部分Memstore刷新。Flush顺序是按照Memstore由大到小执行,先Flush Memstore最大的Region,再执行次大的,直至总体Memstore内存使用量低于阈值(hbase.regionserver.global.memstore.lowerLimit * hbase_heapsize,默认 38%的JVM内存使用量)。
  4. 当一个Region Server中HLog数量达到上限(可通过参数hbase.regionserver.maxlogs配置)时,系统会选取最早的一个 HLog对应的一个或多个Region进行flush
  5. HBase定期刷新Memstore:默认周期为1小时,确保Memstore不会长时间没有持久化。为避免所有的MemStore在同一时间都进行flush导致的问题,定期的flush操作有20000左右的随机延时。
  6. 手动执行flush:用户可以通过shell命令 flush ‘tablename’或者flush ‘region name’分别对一个表或者一个Region进行flush。 虽然总的会有6种,细分下flush的时机有三个:一个是单纯的put/delete引起了memstore的变化的,第二个是region的split,merge,compact引起region变化的,第三个是有一个定时线程轮询每一个region是否需要flush(PeriodiaMemStoreFlusher,是一个chore)。

第一个会在hbase的update时候发生,首先会调用checkResources()方法检查资源,这个checkResources()实际上就是检查HRegion的MemStore大小是否超过一定的阈值(hbase.hregion.memstore.flush.size),如果超过,则会调用requestFlush()方法发起对该HRegion的MemStore进行flush的请求,并抛出RegionTooBusyException异常,阻止该操作继续,后续将要讲的Delete、Append等数据更新操作也是如此,在开始执行操作前都会调用这个checkResources()方法来检查资源。而requestFlush方法核心的方法即是调用HRegion的flushcache方法。

第二个是region的splite/merge/compact,在做这些region级别的操作前,都会直接调用flushchache()方法(有关这个方法在上一篇文档中有详细分析),然后再执行操作。这个比较好理解,因为一个region根据CF对应了一系列的Memstore,当region发生变更时所对应的CF的Memstore肯定需要做相应调整,所以要持久化刷硬盘。一般这些过程在hmaster和zk的帮助下都进行的比较快。

第三个是PeriodMemStoreFlusher来定时的刷memstore。

这个定时任务也比较简单,就是定时去检查对应的region以及RegionServer的memstore是否到达了阈值然后去刷写。

需要注意的regionserver的刷写会阻塞整个rs的写,而且这时候很容易发生fullgc,这将很影响整个集群的性能,所以在hbase的文档中也建议,在业务低峰期进行手动刷写,保证不在业务高峰的时候触发memstore刷写条件而影响性能。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏性能与架构

Redis3 集群中删除节点

image.png 删除节点有两种情况: (1)删除master节点,需要先把目标节点中的slot移动到其他节点中,然后执行删除节点操作 (2)删除slave节...

28160
来自专栏L宝宝聊IT

ESXI网络中虚拟机的克隆和快照

26950
来自专栏算法修养

Git 使用篇二:搭建远程服务器

一般做一个私人的项目,不希望开源的,是不会放在GitHub上的,这个时候我们需要建里一个自己的Git远程服务器,方便小组成员开发。 这里以Centos云服务器为...

40560
来自专栏木子昭的博客

解决.gitignore无法生效的问题

使用git的过程中, 为了避免垃圾文的上传,我们可以手动配置.gitignore排除一些文件或文件夹.

9210
来自专栏IT笔记

Nginx学习之安装篇

基于Linux的安装,本篇教程提供两种安装实现,尽管之前安装过很多次,但是这里还是做一个整理。 YUM安装 优点:不用担心依赖关系、一键安装。 缺点:由于YUM...

32050
来自专栏linux系统运维

php扩展模块安装

22040
来自专栏Script Boy (CN-SIMO)

PowerShell:因为在此系统上禁止运行脚本

在安装chocolatey(官网)的时候,不能运行chocolateyInstall.pal脚本文件。 ? 查阅资料后,得出如下解决办法: 首次在计算机上启动 ...

36700
来自专栏运维小白

2.18 特殊权限set_uid

set_uid 例子 -rwsr-xr-x.中的s的权限 [root@hf-01 ~]# which passwd /usr/bin/passwd [root@...

25350
来自专栏魏艾斯博客www.vpsss.net

如何在 wordpress 文章页和单页面隐藏作者/发布者

31530
来自专栏Linux运维学习之路

day6、Linux下如何找出7天以前的文件删除

有些时候,由于系统产生的日志文件,使服务器的磁盘空间紧张,所以怎么删除7天以前的日志文件及让系统只保留7天以内的日志文件 方法一 使用命令:find + |xa...

24190

扫码关注云+社区

领取腾讯云代金券