HBase快速入门系列(5) | Hbase原理

一. HBase的数据读取流程

1

如果上图过程不是很懂，下面博主再制作一幅图供大家理解

• 1.Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；
• 2.根据namespace、表名和rowkey在meta表中找到对应的region信息；
• 3.找到这个region对应的regionserver；
• 4.查找对应的region；
• 5.先从MemStore找数据，如果没有，再到BlockCache里面读；
• 6.BlockCache还没有，再到StoreFile上读(为了读取的效率)；
• 7.如果是从StoreFile里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。

二. RegionServer 架构

6

• 1.StoreFile

  保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。

• 2.MemStore

  写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。

• 3.WAL

  由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

• 4.BlockCache

  读缓存，每次查询出的数据会缓存在BlockCache中，方便下次查询。

二. HBase的数据的写入流程

4

如果上图过程不是很懂，下面博主再制作一幅图供大家理解

5

• 1.Client向HregionServer发送写请求；
• 2.HregionServer将数据写到HLog（write ahead log）。为了数据的持久化和恢复；
• 3.HregionServer将数据写到内存（MemStore）；
• 4.反馈Client写成功。

三. 数据Flush过程

• 1.当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据；
• 2.并将数据存储到HDFS中；
• 3.在HLog中做标记点。

四. 数据合并过程

• 1.当数据块达到4块，Hmaster触发合并操作，Region将数据块加载到本地，进行合并；
• 2.当合并的数据超过256M，进行拆分，将拆分后的Region分配给不同的HregionServer管理；
• 3.当HregionServer宕机后，将HregionServer上的hlog拆分，然后分配给不同的HregionServer加载，修改.META.；
• 4.注意：HLog会同步到HDFS。

  本次的分享就到这里了