专栏首页大道七哥Hbase(一)了解Hbase与Phoenix

Hbase(一)了解Hbase与Phoenix

前言

  HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

一、Hadoop生太圈

  通过Hadoop生态圈,可以看到HBase的身影,可见HBase在Hadoop的生态圈是扮演这一个重要的角色那就是 实时、分布式、高维数据 的数据存储;

二、HBase简介

  – HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库

  – 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务

  – 主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库)

三、HBase数据模型

  以关系型数据的思维下会感觉,上面的表格是一个5列4行的数据表格,但是在HBase中这种理解是错误的,其实在HBase中上面的表格只是一行数据;

Row Key:

    – 决定一行数据的唯一标识

    – RowKey是按照字典顺序排序的。

    – Row key最多只能存储64k的字节数据。

Column Family列族(CF1、CF2、CF3) & qualifier列:

    – HBase表中的每个列都归属于某个列族,列族必须作为表模式(schema) 定义的一部分预先给出。如create ‘test’, ‘course’;

    – 列名以列族作为前缀,每个“列族”都可以有多个列成员(column,每个列族中可以存放几千~上千万个列);如 CF1:q1, CF2:qw,

     新的列族成员(列)可以随后按需、动态加入,Family下面可以有多个Qualifier,所以可以简单的理解为,HBase中的列是二级列,

     也就是说Family是第一级列,Qualifier是第二级列。两个是父子关系。

    – 权限控制、存储以及调优都是在列族层面进行的;

    – HBase把同一列族里面的数据存储在同一目录下,由几个文件保存。

    – 目前为止HBase的列族能能够很好处理最多不超过3个列族。

Timestamp时间戳:

    – 在HBase每个cell存储单元对同一份数据有多个版本,根据唯一的时间 戳来区分每个版本之间的差异,不同版本的数据按照时间倒序排序,

     最新的数据版本排在最前面。

    – 时间戳的类型是64位整型。

    – 时间戳可以由HBase(在数据写入时自动)赋值,此时时间戳是精确到毫 秒的当前系统时间。

    – 时间戳也可以由客户显式赋值,如果应用程序要避免数据版本冲突, 就必须自己生成具有唯一性的时间戳。

 Cell单元格:

    – 由行和列的坐标交叉决定;

    – 单元格是有版本的(由时间戳来作为版本);

    – 单元格的内容是未解析的字节数组(Byte[]),cell中的数据是没有类型的,全部是字节码形式存贮。

     • 由{row key,column(=<family> +<qualifier>),version}唯一确定的单元。

例:下图为 HBase 中一张表

  • RowKey 为行的唯一标识,所有行按照 RowKey 的字典序进行排序;
  • 该表具有两个列族,分别是 personal 和 office;
  • 其中列族 personal 拥有 name、city、phone 三个列,列族 office 拥有 tel、addres 两个列。

Hbase 的表具有以下特点:

  1、容量大:一个表可以有数十亿行,上百万列;

2、面向列:数据是按照列存储,每一列都单独存放,数据即索引,在查询时可以只访问指定列的数据,有效地降低了系统的 I/O 负担;

3、稀疏性:空 (null) 列并不占用存储空间,表可以设计的非常稀疏 ;

4、数据多版本:每个单元中的数据可以有多个版本,按照时间戳排序,新的数据在最上面;

5、存储类型:所有数据的底层存储格式都是字节数组 (byte[])。

四、HBase体系架构

Client

     • 包含访问HBase的接口并维护cache来加快对HBase的访问

   Zookeeper

     • 保证任何时候,集群中只有一个master

     • 存贮所有Region的寻址入口。

     • 实时监控Region server的上线和下线信息。并实时通知Master

     • 存储HBase的schema和table元数据

Master

     • 为Region server分配region

     • 负责Region server的负载均衡

     • 发现失效的Region server并重新分配其上的region

     • 管理用户对table的增删改操作

RegionServer

     • Region server维护region,处理对这些region的IO请求

     • Region server负责切分在运行过程中变得过大的region 

    HLog(WAL log):

      – HLog文件就是一个普通的Hadoop Sequence File,Sequence File 的Key是 HLogKey对象,HLogKey中记录了写入数据的归属信息,

       除了table和 region名字外,同时还包括sequence number和timestamp,timestamp是” 写入时间”,sequence number的起始值为0,

       或者是最近一次存入文件系 统中sequence number。

      – HLog SequeceFile的Value是HBase的KeyValue对象,即对应HFile中的 KeyValue

   Region

      – HBase自动把表水平划分成多个区域(region),每个region会保存一个表 里面某段连续的数据;每个表一开始只有一个region,随着数据不断插 入表,

       region不断增大,当增大到一个阀值的时候,region就会等分会 两个新的region(裂变);

      – 当table中的行不断增多,就会有越来越多的region。这样一张完整的表 被保存在多个Regionserver上。

   Memstore 与 storefile

      – 一个region由多个store组成,一个store对应一个CF(列族)

      – store包括位于内存中的memstore和位于磁盘的storefile写操作先写入 memstore,当memstore中的数据达到某个阈值,

       hregionserver会启动 flashcache进程写入storefile,每次写入形成单独的一个storefile

      – 当storefile文件的数量增长到一定阈值后,系统会进行合并(minor、 major compaction),在合并过程中会进行版本合并和删除工作 (majar),

       形成更大的storefile。

      – 当一个region所有storefile的大小和超过一定阈值后,会把当前的region 分割为两个,并由hmaster分配到相应的regionserver服务器,实现负载均衡。

      – 客户端检索数据,先在memstore找,找不到再找storefile

      – HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表 示不同的HRegion可以分布在不同的HRegion server上。

      – HRegion由一个或者多个Store组成,每个store保存一个columns family。

      – 每个Strore又由一个memStore和0至多个StoreFile组成。

       如图:StoreFile 以HFile格式保存在HDFS上。

五、Phoenix介绍

  Phoenix 是 HBase 的开源 SQL 中间层,它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。在 Phoenix 之前,如果你要访问 HBase,只能调用它的 Java API,但相比于使用一行 SQL 就能实现数据查询,HBase 的 API 还是过于复杂。Phoenix 的理念是 we put sql SQL back in NOSQL,即你可以使用标准的 SQL 就能完成对 HBase 上数据的操作。同时这也意味着你可以通过集成 Spring Data JPAMybatis 等常用的持久层框架来操作 HBase。

其次 Phoenix 的性能表现也非常优异,Phoenix 查询引擎会将 SQL 查询转换为一个或多个 HBase Scan,通过并行执行来生成标准的 JDBC 结果集。它通过直接使用 HBase API 以及协处理器和自定义过滤器,可以为小型数据查询提供毫秒级的性能,为千万行数据的查询提供秒级的性能。同时 Phoenix 还拥有二级索引等 HBase 不具备的特性,因为以上的优点,所以 Phoenix 成为了 HBase 最优秀的 SQL 中间层。


-END-

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • iscroll实现移动端下拉刷新,上拉加载更多

    大道七哥
  • SVM(支持向量机)简介与基础理解

    SVM(支持向量机)主要用于分类问题,主要的应用场景有字符识别、面部识别、行人检测、文本分类等领域。原文地址:https://zhuanlan.zhihu.co...

    大道七哥
  • ReentrantLock实现原理分析

    原文出处:http://www.yund.tech/zdetail.html?type=1&id=ef94715a2838f06ab03b8621c23d161...

    大道七哥
  • Hadoop学习笔记—15.HBase框架学习(基础知识篇)

    HBase是Apache Hadoop的数据库,能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的,分布式的...

    Edison Zhou
  • 一文读懂 HBase 核心原理与应用场景

    HBase是大数据NoSQL领域里非常重要的分布式KV数据库,是一个高可靠、高性能、高伸缩的分布式存储系统,目前国内知名公司都有在大规模使用,社区也非常活跃。本...

    大数据技术架构
  • 什么时候才应该使用HBase?

    在使用HBase一定要明白HBase的适用场合,因为HBase并非适用于每种情况。 首先,要确认有足够多的数据存入HBase。 如 果有几亿或者几十亿条记录要存...

    cloudskyme
  • HBase 深入浅出

    HBase 深入浅出 HBase 在大数据生态圈中的位置 提到大数据的存储,大多数人首先联想到的是 Hadoop 和 Hadoop 中的 HDFS 模块。大家熟...

    搜云库
  • (课程)基于HBase做Storm 实时计算指标存储

    Hi,大家好!我是祝威廉,本来微博也想叫祝威廉的,可惜被人占了,于是改名叫·祝威廉二世。然后总感觉哪里不对。目前在乐视云数据部门里从事实时计算,数据平台、搜索和...

    用户2936994
  • Apache HBase内核深度剖析

    前面一篇文章介绍了Kafka的具体内容,今天讲述一下HBase相关的知识。首先HBase作为大数据发展初期伴随Google三大论文问世的一个组件,在今天依旧被广...

    ThoughtWorks
  • HBase漫谈 | HBase技术选型准则

    NoSQL(Not only SQL)数据库,可以理解为区别于关系型数据库如mysql、oracle等的非关系型数据库。聊到NoSQL不得不提著名的CAP理论,...

    大数据技术架构

扫码关注云+社区

领取腾讯云代金券