【导读:数据是二十一世纪的石油,蕴含巨大价值,这是·情报通·大数据技术系列第[38]篇文章,欢迎阅读和收藏】
1基本概念
Hbase 有两种类型的机器:master ( HDFS 的 NameNode 、 MapReduce 的 JobTracker ,以及 Hbase 的 Master )和 slave ( HDFS 的 DataNode 、 MapReduce 的 TaskTracker ,以及 Hbase 的 RegionServer )。
安装硬件最低要求如下:
CPU :master&slave :双四核, 2.0GHz-2.5GHz
内存:master :24GB ;slave :24GB 及以上
硬盘:master :4*1TB SATA ;slave :6*1TB SATA
网卡:千兆及以上
软件要求如下:
操作系统:CentOS 、 Fedora 、 Debian 、 Ubuntu 、 Solaris 、 RedHat 、 SuseLinux
文件系统:ext3 、 ext4 、 XFS 、 ZFS
JAVA :1.6 及以上版本
2术语解释
Master:又叫 HMaster ,负责 HBase 中 Table 和 Region 的管理,包括表的增删改查;Region Server 的负载均衡, Region 分布调整;Region 分裂以及分裂后的 Region 分配;Region Server 失效后的 Region 迁移等。
ZooKeeper Cluster:Zookeeper 集群存储 -ROOT- 表的地址和 Master 地址, Region Server 主动向 Zookeeper 注册,使得 Master 可随时感知各 Region Server 的健康状态。Zookeeper 另一个重要作用是避免 Master 单点故障。
RegionServer:负责数据路由、数据读写和数据持久化,是 HBase 的数据处理和计算单元,同时还负责区域的分割(即 Region Split )。Region Server 要求和 HDFS 的 Data Node 一起部署。
3详细说明
3.1Hbase集群部署模式
部署建议:
RegionServer 与 DataNode 联合部署, RegionServer 与 DataNode 按 1:1 比例设置,优势在于 RegionServer 中的数据文件可以存储一个副本于本机的 DataNode 节点中,从而在读取时可以利用 HDFS 中的”短路径读取 (Short Circuit) “来绕过网络请求,降低读取时延。
管理节点独立于数据节点部署,如果是基于物理机部署,每一台物理机节点上可以设置几个 RegionServers/DataNodes 来提升资源使用率。
3.2常用操作
# 启动
$.bin/start-hbase.sh
# 停止
$.bin/stop-hbase.sh
# 进入 shell ,操作数据库和表
$ .bin/hbase shell
领取专属 10元无门槛券
私享最新 技术干货