首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

HBase之环境安装

【导读:数据是二十一世纪的石油,蕴含巨大价值,这是·情报通·大数据技术系列第[38]篇文章,欢迎阅读和收藏】

1基本概念

Hbase 有两种类型的机器:master ( HDFS 的 NameNode 、 MapReduce 的 JobTracker ,以及 Hbase 的 Master )和 slave ( HDFS 的 DataNode 、 MapReduce 的 TaskTracker ,以及 Hbase 的 RegionServer )。

安装硬件最低要求如下:

CPU :master&slave :双四核, 2.0GHz-2.5GHz

内存:master :24GB ;slave :24GB 及以上

硬盘:master :4*1TB SATA ;slave :6*1TB SATA

网卡:千兆及以上

软件要求如下:

操作系统:CentOS 、 Fedora 、 Debian 、 Ubuntu 、 Solaris 、 RedHat 、 SuseLinux

文件系统:ext3 、 ext4 、 XFS 、 ZFS

JAVA :1.6 及以上版本

2术语解释

Master:又叫 HMaster ,负责 HBase 中 Table 和 Region 的管理,包括表的增删改查;Region Server 的负载均衡, Region 分布调整;Region 分裂以及分裂后的 Region 分配;Region Server 失效后的 Region 迁移等。

ZooKeeper Cluster:Zookeeper 集群存储 -ROOT- 表的地址和 Master 地址, Region Server 主动向 Zookeeper 注册,使得 Master 可随时感知各 Region Server 的健康状态。Zookeeper 另一个重要作用是避免 Master 单点故障。

RegionServer:负责数据路由、数据读写和数据持久化,是 HBase 的数据处理和计算单元,同时还负责区域的分割(即 Region Split )。Region Server 要求和 HDFS 的 Data Node 一起部署。

3详细说明

3.1Hbase集群部署模式

部署建议:

RegionServer 与 DataNode 联合部署, RegionServer 与 DataNode 按 1:1 比例设置,优势在于 RegionServer 中的数据文件可以存储一个副本于本机的 DataNode 节点中,从而在读取时可以利用 HDFS 中的”短路径读取 (Short Circuit) “来绕过网络请求,降低读取时延。

管理节点独立于数据节点部署,如果是基于物理机部署,每一台物理机节点上可以设置几个 RegionServers/DataNodes 来提升资源使用率。

3.2常用操作

# 启动

$.bin/start-hbase.sh

# 停止

$.bin/stop-hbase.sh

# 进入 shell ,操作数据库和表

$ .bin/hbase shell

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200122A0HNEY00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券