本文结合两个实战场景就基于 HBase 的大数据存储做了简单的分析，并对 HBase 的原理做了简单的阐述。
HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org – 2006年Google发表BigTable白皮书 – 2006年开始开发HBase – 2008年北京成功开奥运会，程序员默默地将HBase弄成了Hadoop的子项目 – 2010年HBase成为Apache顶级项目 – 现在很多公司二次开发出了很多发行版本，你也开始使用了。 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。 HBase是Google Bigtable的开源实现，但是也有很多不同之处。比如：Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MAPREDUCE来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用Chubby作为协同服务，HBase利用Zookeeper作为对应。
hbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。
从图中可以看出 Hbase 是由 Client、Zookeeper、Master、HRegionServer、HDFS 等几个组件组成，下面来介绍一下几个组件的相关功能：
HBase 是 bigtable 的开源 Java 版本。是建立在 hdfs 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写 nosql 的 数据库系统 。 它介于 nosql 和 RDBMS 之间，仅能通过主键（row key）和主键的 range 来检索数据，仅支持单行事务（可通过hive支持来实现多表join等复杂操作）。 HBase 主要用来存储结构化和半结构化的松散数据。 HBase查询数据功能很简单，不支持 join 等复杂操作，不支持复杂的事务（行级的事务。 HBase中支持的数据类型：byte[]。 HBase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 HBase中的表一般有这样的特点：
总结: HADOOP仅适合存储大批量的数据, 进行顺序化读取数据, 并不支持随机读取数据操作
HBase简介及搭建 一、概述 HBase是基于hadoop的数据库工具。 1、特点 HBase来源于google的一篇论文BigTable，后来由Apache做了开源实现就是HBase。是一种NoSQL、非关系型的数据库、不符合关系型数据库的范式。 适合存储半结构化、非结构化的数据；适合存储稀疏的数据，稀疏的数据中空的数据不占用空间。 面向列(族)进行存储，提供实时增删改查的能力，是一种真正的数据库。 可以存储海量数据、性能也很强大，可以实现上亿条记录的毫秒级别的
NoSQL是一些分布式非关系型数据库的统称，它采用非关系的数据模型，弱化模式或表结构、弱化完整性约束、弱化甚至取消事务机制，可能无法支持，或不能完整的支持SQL语句。
从 1970 年开始，大多数的公司数据存储和维护使用的是关系型数据库,大数据技术出现后，很多拥有海量数据的公司开始选择像Hadoop的方式来存储海量数据。
5、Hbase的表在物理存储上，是按照列族来分割的，不同列族的数据一定存储在不同的文件中
简单的说HBase就是一个分布式的可扩展的大数据量的非关系型数据库（NoSQL）。它具有一般的关系型数据 Oracle/MySQL的基础功能如：
上一篇文章，我们将用户的购物数据用Hive进行了非实时的大数据分析，并为他们打上了标签，某些同学喜欢衣服，某些同喜欢汽车。那这些标签数据究竟存到了哪里，标签数据是否永远保存，这些标签数据是否能够不断更新？
Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。Hive本身不存储数据，它完全依赖HDFS和MapReduce。这样就可以将结构化的数据文件映射为为一张数据库表，并提供完整的SQL查询功能，并将SQL语句最终转换为MapReduce任务进行运行。而HBase表是物理表，适合存放非结构化的数据。
HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环境验证，并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司，大公司会投入大量的人力去维护、改进、贡献社区。
Hadoop 中的 HDFS 是文件存储的基础，但是如果要对存储在 HDFS 中的文件进行更改、删除等操作会十分费劲。这是由于 Hadoop 只能执行批量处理，且只能以顺序方式访问数据，当需要更改数据时，必须搜索整个数据集，从海量文件数据中取出需要进行更改的内容，读取内容，进行更改操作，然后再写回文件对应位置。这个过程既耗时又繁杂，有没有更好的可以随机访问数据的办法？
HBase是大数据NoSQL领域里非常重要的分布式KV数据库，是一个高可靠、高性能、高伸缩的分布式存储系统，目前国内知名公司都有在大规模使用，社区也非常活跃。本文就是学习HBase的敲门砖，主要从以下几个方面解读HBase。
Hbase是一种NoSql模式的数据库，采用了列式存储。而采用了列存储天然具备以下优势：
物流人资数据预处理平台，负责接收一线几十万员工不同条线的工作量，每日数据量约2000w，系统负责加工转换并提供数据查询的同时，还需保证查询性能，以及修改单个业务量功能。本文通过HBase在物流人资数据预处理平台中实践，讲解HBase集群如何协同工作，并概述读取数据以及存储数据的原理，以及使用HBase注意事项。
•功能：Hbase是一个分布式的、基于分布式内存和HDFS的按列存储的NoSQL数据库 •应用：Hbase适合于需要实时的对大量数据进行快速、随机读写访问的场景
在大数据时代，数据量的爆炸式增长对数据存储和处理能力提出了巨大的挑战。Hadoop作为一个分布式计算框架，在解决这些挑战中发挥了重要作用。然而，传统的关系型数据库无法很好地处理海量的非结构化或半结构化数据，因此NoSQL数据库变得越来越受到关注和应用。在Hadoop生态系统中，HBase是一种高度可扩展的分布式NoSQL数据库，提供了快速、随机、实时读写大数据集的能力。本文将介绍HBase的基本概念和原理，并提供一些示例代码。
前言 最近在跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase相关技术的分享，由于Hb
要在 Spring Boot 项目中实现 HBase 的功能，首先需要理解原理和作用，然后通过实际操作将其集成到 Spring Boot 项目中。以下是从理论到实践的详细步骤：
之前的系列文章当中，已经为大家介绍了大数据存储当中的MongoDB、Redis等数据库，今天接着来讲Hbase。Hbase在大数据存储当中，与Hadoop生态紧密相关，也是Hadoop生态当中必学的重要组件。下面我们从基础入门开始，来讲讲Hbase。
HBase是Hadoop Database的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，为横向发展类型数据库，提供快速随机访问海量结构化数据，它是Hadoop生态系统，提供对数据的随机实时读/写访问，是Hadoop文件系统的一部分，利用了Hadoop的文件系统(HDFS)提供的容错能力。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
人资绩效系统数据预处理平台，负责接收所有上游业务量数据。具有数据量大、非结构化数据、更新单个业务量数据，查询性能要求高等特性。通常技术上可以选择OSS、MySql数据库、ES等存储方案。其中OSS云存储方案，查询性能与更新单个业务量数据上无法满足。MySql数据库如果每对接一种业务量创建一个表的方式，对于更新查询等方面复杂度较高，不利于系统扩展。而ES存储量与查询量都可以满足，但更新单个字段不够友好，且ES成本较高。
1、/hbase/.META. 就是存储1中介绍的 META 表的存储路径。 2、/hbase/.archive HBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉，该目录由 HMaster 上的一个定时任务定期去清理。 3、/hbase/.corrupt 存储HBase做损坏的日志文件，一般都是为空的。 4、/hbase/.hbck HBase 运维过程中偶尔会遇到元数据不一致的情况，这时候会用到提供的 hbck 工具去修复，修复过程中会使用该目录作为临时过度缓冲。 5、/hbase/WAL 大家都知道 HBase 是支持 WAL（Write Ahead Log） 的，HBase 会在第一次启动之初会给每一台 RegionServer 在.log 下创建一个目录，若客户端如果开启WAL 模式，会先将数据写入一份到.log 下，当 RegionServer crash 或者目录达到一定大小，会开启 replay 模式，类似 MySQL 的 binlog。 6、/hbase/oldlogs 当.logs 文件夹中的 HLog 没用之后会 move 到.oldlogs 中，HMaster 会定期去清理。 7、/hbase/.snapshot hbase若开启了 snapshot 功能之后，对某一个用户表建立一个 snapshot 之后，snapshot 都存储在该目录下，如对表test 做了一个 名为sp_test 的snapshot，就会在/hbase/.snapshot/目录下创建一个sp_test 文件夹，snapshot 之后的所有写入都是记录在这个 snapshot 之上。 8、/hbase/.tmp 当对表做创建或者删除操作的时候，会将表move 到该 tmp 目录下，然后再去做处理操作。 9、/hbase/hbase.id 它是一个文件，存储集群唯一的 cluster id 号，是一个 uuid。 10、/hbase/hbase.version 同样也是一个文件，存储集群的版本号，貌似是加密的，看不到，只能通过web-ui 才能正确显示出来。
HBase类似于数据库的存储层，HBase适用于结构化存储，并且为列式分布式数据库。
HBase 是一个分布式的、多版本、面向列的开源 KV 数据库。运行在 HDFS 的基础上，支持 PB 级别、百万列的数据存储。
大数据前几年各种概念争论很多，NoSQL/NewSQL，CAP/BASE概念一堆堆的，现在这股热潮被AI接过去了。大数据真正落地到车联网，分控，各种数据分析等等具体场景。 概念很高大上，搞得久了就会发现，大部分都还是数据仓库的衍伸，所以我们称呼这个为“新数仓”，我准备写一系列相关的文章，有没有同学愿意一起来的？请联系我。前面有一些相关文章，大家可以看看： 新数仓系列：Hbase周边生态梳理（1） 本文简单梳理下其中一个应用比较广的HBASE的国内开发者现状，可能不全，有更多信息或者纠正的，请给我留言。 1
HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的顶级项目来开发维护，用于支持结构化的数据存储。
近日，Pinterest 品趣志的工程团队最近公布了弃用 HBase 集群的流程规划，理由是该方案基础设施建设与维护成本过高、HBase 专业人才难寻以及产品功能不足。而随着 Pinterest 也转向 Druid/StarRocks、Goku、KVStore、TiDB 等数据库技术，技术社区开始质疑在 Hadoop 和 HDFS 之上运行非关系数据库的作法是否正迅速衰落。
HBase的基础框架，将分成几个章节对HBase进行描述，不当之处还望大家批评指正。下面是了解HBase基础架构的第一部分。
今天扯一下 Hbase ，我对 Hbase 的了解起源于两篇文章Understanding HBase and BigTable和《李逵麻子，李鬼坑人--BigTable的数据模型》；这两篇本质上还是一篇文章，《李逵麻子，李鬼坑人--BigTable的数据模型》类似于Understanding HBase and BigTable的中文版讲解。还好的是我是先读的这两篇文章，再去看 Hbase 的官方文档和使用 Hbase ，否则真有可能被 Hbase 的概念给糊弄进去了。要知道，对一个软件或者工具，要想深刻理解和使用它，第一印象很重要，它决定你学习的进度，要是弄错了，学习的时候就会很痛苦，怎么也无法理解这个工具怎么设计的。
CDP 运营数据库 (COD)是由 Apache HBase 和 Apache Phoenix 提供支持的实时自动扩展运营数据库。它是在 Cloudera 数据平台 (CDP) 公共云上运行的主要数据服务之一。您可以从CDP 控制台访问 COD 。
HBase 深入浅出 HBase 在大数据生态圈中的位置 提到大数据的存储，大多数人首先联想到的是 Hadoop 和 Hadoop 中的 HDFS 模块。大家熟知的 Spark、以及 Hadoop 的 MapReduce，可以理解为一种计算框架。而 HDFS，我们可以认为是为计算框架服务的存储层。因此不管是 Spark 还是 MapReduce，都需要使用 HDFS 作为默认的持久化存储层。那么 HBase 又是什么，可以用在哪里，解决什么样的问题？简单地，我们可以认为 HBase 是一种类似于数据库的存储
HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型，它存储的是松散型数据。
HBase 是一款面向列存储，用于存储处理海量数据的 NoSQL 数据库。它的理论原型是 Google 的 BigTable 论文。你可以认为 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
离线数据分析平台实战——080HBase介绍和安装 HBase介绍 HBase是参考google的bigtable的一个开源产品， 建立在hdfs之上的一个提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 是一种介于nosql和RDBMs之间的一种数据库系统， 仅支持通过rowkey和range进行数据的检索，主要存储非结构化数据和半结构化数据。 HBase和Hadoop一样，目标是通过横向扩展，添加普通机器来增加存储性能和计算性能。 HBase特点： 大(一个表可以有上亿行以及百万级
本文根据网易杭州研究院技术专家范欣欣在中国HBase技术社区第3届 MeetUp 杭州站分享的《网易HBase实践》编辑整理而成。
NoSQL（Not only SQL）数据库，可以理解为区别于关系型数据库如mysql、oracle等的非关系型数据库。聊到NoSQL不得不提著名的CAP理论，全称 Consistency Available and Partition tolerance，即一致性、可用性与分区容错性，这是Eric Brewer教授提出的分布式系统设计理念，并给出了定论：任何分布式系统只能同时满足其中二点，无法做到三者兼顾。这可以说是NoSQL数据库的理论基石，至今NoSQL领域也称得上是百花齐放了，一直也没有哪一款NoSQL同时兼顾着这三点特性。
Hbase理论知识点概要 问题01：Hbase的功能与应用场景？ 功能：Hbase是一个分布式的、基于分布式内存和HDFS的按列存储的、NoSQL数据库 应用：Hbase适合于需要实时的对大量数据进行快速、随机读写访问的场景 问题02：Hbase有什么特点？ 分布式的，可以实现高并发的数据读写 上层构建分布式内存，可以实现高性能、随机、实时的读写 底层基于HDFS，可以实现大数据 按列存储，基于列实现数据存储，灵活性更高 问题03：Hbase设计思想是什么？ 设计思想
要想明白为什么产生 HBase，就需要先了解一下 Hadoop 存在的限制？Hadoop 可以通过 HDFS 来存储结构化、半结构甚至非结构化的数据，它是传统数据库的补充，是海量数据存储的最佳方法，它针对大文件的存储，批量访问和流式访问都做了优化，同时也通过多副本解决了容灾问题。
本文将介绍大数据的知识和Hbase的基本概念，作为大数据体系中重要的一员，Hbase弥补了Hadoop只能离线批处理的不足，支持存储小文件，随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。
最近在工作中用到了 Hbase 这个数据库，也顺便做了关于 Hbase 的知识记录来分享给大家。其实 Hbase的内容体系真的很多很多，这里介绍的是小羽认为在工作中会用到的一些技术点，希望可以帮助到大家。
•Hive是通过构建元数据，映射HDFS文件构建成表，本质还是HDFS，实现离线大数据仓库 •Hbase是通过构建上层分布式内存，底层HDFS，实现大数据实时存储的NoSQL数据库
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
