首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

HBase的基础架构,莫非要搭建盖房子?

架构图:

一、HMaster

功能:

1、监控RegionServer

2)、处理RegionServer故障转移

3、处理元数据的变更

4、处理region的分配或移除

5、在空闲时间进行数据的负载均衡

6、通过Zookeeper发布自己的位置给客户端

二、RegionServer

功能:

1、负责存储HBase的实际数据

2、处理分配给它的Region

3)、刷新缓存到HDFS

4、维护HLog

5、执行压缩

6)、负责处理Region分片

组件:

1、 Write-Ahead logs

对 HBase进行读取和写入数据时,不直接将数据写到磁盘上的 HBase修改记录,它将在内存中保留一段时间(可设置时间和数据量阈值)。但是将数据保存在内存中可能会有更大的可能性导致数据丢失,为了解决这个问题,在将数据写到名为Write-Aheadlogfile的文件中之前,需要将其写入内存。因此,当系统发生故障时,可以通过此日志文件重新生成数据。

2、HFile

它是实际的物理文件,在磁盘上保存原始数据,是实际的存储文件。

3、 Store

HFile存储在Store中,一个Store对应HBase表中的一个列族。

4、 MemStore

顾名思义,就是内存存储,位于内存中,用来保存当前的数据操作,所以当数据保存在WAL中之后,RegsionServer会在内存中存储键值对。

5、 Region

对 HBase表的分片, HBase表根据 RowKey值被切分为不同的 region存储在 RegionServer中,在一个 RegionServer中可能存在多个不同的 region。

如需转载请注明出处(创作不易请见谅)

和巨婴程序猿一起成长。让自己变得更优秀

想了解更多精彩内容,快来关注跟着巨婴去逆袭

我最近一直在思考(大数据通俗讲解)的问题,你的看法是什么呢?关注我快说出来一起交流一下吧~

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200714A0Q27R00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券