前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hbase原理与架构

Hbase原理与架构

作者头像
Tim在路上
发布2020-08-04 22:16:06
6430
发布2020-08-04 22:16:06
举报
文章被收录于专栏:后台技术底层理解

我们都知道Hbase是一个构建在HDFS上的分布式列存储系统。Hbase主要用于海量数据的结构化存储。

Hbase是构建在HDFS上,可以使用MapReduce直接操作,或者使用直接使用。

HDFS的问题,HDFS只支持批处理的场景,不支持数据的随机查找,不适合增量数据查找,不支持数据更新。

Hbase特点

  • 一个表可以承装上百万列
  • 每一行的列可以动态的添加,不同行可以有不同的列
  • 面向列族的存储和权限控制,数据即索引
  • 对于空的列,不占用存储空间,表可以设计的非常稀疏
  • Hbase中都是字符串,每个单元格可以插入多个数据版本。
Hbase逻辑视图
Hbase逻辑视图

Hbase的所有的操作都是基于rowkey的 支持put,get,scan多行操作支持,scan,multiput

Hbase物理模型

每一个列族存储在HDFS上的一个单独文件上,Hfile中。

Hbase中的数据结构
Hbase中的数据结构

Hbase实际上是维护了一个多级索引:

代码语言:javascript
复制
<key,column family,column name,timestamp>
Table 中所有行都是按照rowkey进行字典排序,同时在行的方向上分为多个Region

Region按大小进行分割,每一个表开始只有一个Region,随着数据的增多,Region不断增大,当增大到一个阈值时,Region就会分割为两个Region,以及更多Region.

同时Region是Hbase中分布式存储的最小单位,不同的Region分布到不同的RegionServer上。

Hbase 存储
Hbase 存储
Region是分布式存储的最小单元,但不是存储的最小单元。Region由多个Store组成,每一个Store保存一个列族。

每一个Store又包括memStore和StoreFile组成。

Hbase架构

Hbase架构
Hbase架构
  • Client

包含访问HBase的接口,并维护cache来加快对HBase的访问。

  • zookeeper

保证任何时候,集群中只有一个master 存贮所有Region的寻址入口,实时监控Region server的上线和下线信息。并实时通知给Master ,存储HBase的schema和table元数据。

  • Master

为Region server分配region ,负责Region server的负载均衡,发现失效的Region server并重新分配其上的region ,管理用户对table的增删改查操作。

  • Region Server

Region server维护region,处理对这些region的IO请求 Region server负责切分在运行过程中变得过大的region

WAL

write-ahead-log,预先写日志,指的是在写数据的时候,先写Log这样当写Region失败后可以进行找回。

Master容错:Zookeeper重新选择一个新的Master 无Master过程中,数据读取仍照常进行; 无master过程中,region切分、负载均衡等无法进行;

RegionServer容错:定时向Zookeeper汇报心跳,如果一旦时 间内未出现心跳 Master将该RegionServer上的Region重新分配到其他RegionServer上;

失效服务器上“预写”日志由主服务器进行分割并派送给新的 RegionServer

Zookeeper容错:Zookeeper是一个可靠地服务 一般配置3或5个Zookeeper实例。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Hbase特点
  • Hbase物理模型
  • Hbase架构
  • WAL
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档