前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hbase入门(一)——初识Hbase

Hbase入门(一)——初识Hbase

作者头像
大数据流动
发布2019-09-29 17:27:06
3.1K0
发布2019-09-29 17:27:06
举报
文章被收录于专栏:实时计算实时计算

本文将介绍大数据的知识和Hbase的基本概念,作为大数据体系中重要的一员,Hbase弥补了Hadoop只能离线批处理的不足,支持存储小文件,随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。

file
file

1、大数据与Hbase

大数据在近几年发展迅速,而实时计算也是一个重要的发展趋势。不管是企业中的日志数据,还是传感器、智能设备等等产生的数据,不计其数。

而这些数据中结构化的数据只占一小部分,大部分是非结构化的数据。这个时候,比如图片视频等就不能轻松的存储在关系型数据库中,而大数据是可以对各种类型的数据都可以进行处理的。

file
file

但关系型数据库有几点缺陷:

无法应对高并发的考验,没有办法横向扩展,事务一致性对性能的影响。

而Nosql数据库,也就是Not Only Sql的缩写。扩展性强,并发性能好,数据模型灵活。

Hbase,也就是Hadoop Database是一个高可靠、高性能、可伸缩的分布式数据库。Hbase参考了谷歌的BigTable建模,使用HDFS作为底层存储。使用Zookeeper作为协同服务组件。

Hbase使用Java编写,还是一种NoSQL数据库,这些特性决定了Hbase独特的应用场景。

2、概念特性

HBASE是一个数据库----可以提供数据的实时随机读写

HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同,它是一个NoSQL数据库(非关系型数据库)

Hbase的表模型与关系型数据库的表模型不同:

​ Hbase的表没有固定的字段定义;

​ Hbase的表中每行存储的都是一些key-value对;

​ Hbase的表中有列族的划分,用户可以指定将哪些kv插入哪个列族;

​ Hbase的表在物理存储上,是按照列族来分割的,不同列族的数据一定存储在不同的文件中;

​ Hbase的表中的每一行都固定有一个行键,而且每一行的行键在表中不能重复;

​ Hbase中的数据,包含行键,包含key,包含value,都是byte[ ]类型,hbase不负责为用户维护数据类型;

​ HBASE对事务的支持很差;

HBASE相比于其他nosql数据库(mongodb、redis、cassendra、hazelcast)的特点:

Hbase的表数据存储在HDFS文件系统中

从而,hbase具备如下特性:存储容量可以线性扩展; 数据存储的安全性可靠性极高!

3、核心模块

file
file

客户端Client

整个Hbase的入口,使用者通过客户端操作Hbase。通过客户端与HMaster和RegionServer进行通讯。管理类操作与HMaster通信,读写类操作与RegionServer通讯。

协调服务zookeeper

zookeeper负责管理Hbase中多个HMaster的选举,服务器间状态同步。

主节点HMaster

HMaster可以启动多个,由zookeeper保证总有一个正常运行,其他作为备选。

HMaster主要负责Table和Region的管理工作。

节点HRegionServer

HRegionServer主要负责响应用户IO请求,向HDFS中读写数据。HRegionServer管理了一系列的HRegion对象。HRegion对应了Table中的一个Region。HRegion由多个HStore组成,HStore对用了Table中一个Column Family。

而且每个HRegionServer都有一个HLog对象,用于数据恢复。

4、使用场景

搜索引擎

生成索引,在查询时通过对条件的拼接,迅速的查找到要查询的数据。

实时流式计算

不管是实时的推荐系统,还是日志的增量存储,都是实时流式计算的一个应用。

通过将数据增量的存入Hbase,并在流式处理中实时查询Hbase,结合历史得到最终的分析结果。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-09-24 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、大数据与Hbase
  • 2、概念特性
  • 3、核心模块
    • 客户端Client
      • 协调服务zookeeper
        • 主节点HMaster
          • 节点HRegionServer
          • 4、使用场景
            • 搜索引擎
              • 实时流式计算
              相关产品与服务
              TDSQL MySQL 版
              TDSQL MySQL 版(TDSQL for MySQL)是腾讯打造的一款分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档