专栏首页Spark / Hadoop生态系列HBASE 表在HDFS目录结构
原创

HBASE 表在HDFS目录结构

进程按角色分为Master和RegionServer,其中Master负责DDL操作,比如建表、删表,而RegionServer负责DML操作,比如数据的读写操作等。从数据视图上讲,HBase中的Table会按Range切分为多个Region,然后由不同的RegionServer来负责对外提供服务。

RegionServer的内部则主要有BlockCache,MemStore和WAL等几部分组成,需要注意的是每个Region的每个Column Family有自己独享的MemStore,但是BlockCache和WAL则是多个Region共享的。WAL(Write-ahead logging)是数据库中的常用技术,所有的修改在写入数据库之前都需要持久化到WAL中,从而确保了在出现故障的时候,可以从WAL中回放出已经成功写入的数据。

HBase表在HDFS上的目录结构

img

/hbase /data /<Namespace> (集群里的Namespaces) /<Table> (该集群的Tables) /<Region> (该table的Regions) /<ColumnFamily> (该Region的列族) /<StoreFile> (该列族的StoreFiles)

值得注意的是 一个Store对应一个列族f。

Region由一个或者多个Store组成,每个store保存一个 columnsfamily;每个Strore又由一个memStore和0至多个StoreFile组成,StoreFile就是对HFile的轻量级封装;memStore存储在内存中,StoreFile存储在HDFS上。

HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际StoreFile就是对HFile做了轻量级包装,即StoreFile底层就是HFile。

img

Hbase UI 60010展示表结构如下

img
img

HLog的HDFS目录结构如下

/hbase /WALs /<RegionServer> (RegionServers) /<WAL> (WAL files for the RegionServer)

img

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Kubernetes k8s 基础架构与设计理念 名词解释 学习笔记

    Kubernetes最初源于谷歌内部的Borg,提供了面向应用的容器集群部署和管理系统。Kubernetes的目标旨在消除编排物理/虚拟计算,网络和存储基础设施...

    大鹅
  • HBASE 技术细节 读取与写入 Region Split与合并介绍

    Hbase Rowkey CF 架构 概述 预分区及Rowkey设计 学习笔记介绍了Region类似于数据库的分片和分区的概念,每个Region负责一小部分Ro...

    大鹅
  • Spark 与 Hadoop 学习笔记 介绍及对比

    这篇博客将会简单记录Hadoop与Spark对比,HDFS,MapReduce的基本概念,及Spark架构设计,RDD,运行模式。整理起来一起阅读方便我们理解整...

    大鹅
  • Spring Cloud微服务初探

    因为加了不少优秀的知识星球,结交了更多的小伙伴,加了更多的群,每每在自我介绍的时候,都说自己是Android & Java攻城狮。

    程序员小跃
  • SpringBoot图文教程4—SpringBoot 实现文件上传下载

    通过前面三篇的教程,小伙伴们已经可以实现一个web项目了,但是现在项目的功能还有点简单,接下来的文章中将会逐步完善添加新的功能。

    鹿老师的Java笔记
  • (10.5)James Stewart Calculus 5th Edition:Conic Sections

    dodo_lihao
  • 音乐产业发展报告

    ?   引言   文化产业是通往大国之路的重要软实力。而作为文化软实力的主要组成部分,音乐产业一直是我国发展比较薄弱的环节。本文首先从音乐产业链分析入手,...

    腾讯研究院
  • 又来搞事情了,这次女友让我研究如何实现一个文件系统

    在对文件有了基本认识之后,现在是时候把目光转移到文件系统的实现上了。之前用户关心的一直都是文件是怎样命名的、可以进行哪些操作、目录树是什么,如何找到正确的文件路...

    cxuan
  • 又来搞事情了,这次女友让我研究如何实现一个文件系统

    在对文件有了基本认识之后,现在是时候把目光转移到文件系统的实现上了。之前用户关心的一直都是文件是怎样命名的、可以进行哪些操作、目录树是什么,如何找到正确的文件路...

    乔戈里
  • 谷歌大脑深度学习从入门到精通视频课程[6.2]:自动编码器——损失函数

    AI100 已经引入 Hugo Larochelle 教授的深度学习课程,会在公众号中推送,并且对视频中的 PPT 进行讲解。课后,我们会设计一系列的问题来巩...

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券