专栏首页Spark学习技巧HBase的安装部署

HBase的安装部署

一、 准备环境

Java-- jdk-8u121-linux-x64.tar.gz

Hadoop--hadoop-2.7.4.tar.gz (jdk1.7会报错)

Hbase-- hbase-1.2.0-bin.tar.gz

Zookeeper-- zookeeper-3.4.5.tar.gz

本系列教程所有jar包,请关注微信公众号 :Spark高级玩法,输入software获取。

Centos 6.5是本文采用的操作系统

二, 安装Zookeeper

Zookeeper的单机版安装很简单。主要是配置数据存储目录。

1,配置环境变量

# zookeeper
export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.5/
export ZOOKEEPER_CONF_DIR=$ZOOKEEPER_HOME/conf
export PATH=$PATH:$ZOOKEEPER_HOME/bin

2,创建data目录

在Zookeeper的当前节点创建一个data子目录

mkdir -p /opt/modules/zookeeper-3.4.5/data

3,修改zoo.cfg

mv zoo_sample.cfg zoo.cfg

修改配置zoo.cfg,下面属性为我们创建的Zookeeper的data目录。

dataDir=/opt/modules/zookeeper-3.4.5/data

4,启动Zookeeper

zkServer.sh start

5,查看状态

zkServer.sh status

三, 安装测试hbase

Hbase的角色也简单,服务端就是master,regionserver,Zookeeper,剩下的就是管理客户端或者数据插入读取客户端。配置使用hbase主要有以下几个步骤。

1, regionserver配置

主要是配置主机名,其实不配置也可以,就是要逐台去启动,当然,也可以写个批处理脚本。

Luffy.OnePiece.com

2, 在hbse-site.xml中添加如下配置

要首先创建一个data/tmp目录。

mkdir -p /opt/modules/hbase-1.2.0/data/tmp

然后,修改hbase-site.xml

<property>
 <name>hbase.tmp.dir</name>
 <value>/opt/modules/hbase-1.2.0/data/tmp</value>
 </property>
 <property >
 <name>hbase.rootdir</name>
 <value>hdfs://Luffy.OnePiece.com:8020/hbase</value>
 </property>
 <property >
 <name>hbase.cluster.distributed</name>
 <value>true</value>
 </property>
 <property>
 <name>hbase.zookeeper.quorum</name>
 <value>Luffy.OnePiece.com</value>
 </property>

3, 启动hbase

首先要启动Zookeeper,因为hbase是依赖于Zookeeper的,然后启动hbase。

配置环境变量

# HBase
export HBASE_HOME=/opt/modules/hbase-1.2.0
export HBASE_CONF_DIR=$HBASE_HOME/conf
export PATH=$PATH:$HBASE_HOME/bin

启动hbase

hbase-daemon.sh start master

hbase-daemon.sh start regionserver

4, 可在web浏览器中查看

以前的默认端口是60010,而新版本的是16010,在浏览器中输入

http://luffy.onepiece.com:16010

可以看到

5, 在Zookeeper中查看hbase信息

6, 测试hbase指令

首先输入,hbase shell等待

创建表

create 'user','info'

插入数据

put 'user','1001','info:name','lisi'

put 'user','1001','info:age','18'

put 'user','1001','info:sex','male'

查看数据

scan 'user'

使用get查看数据

删除数据

禁用表

删除表

删除表要先禁用,再删除。

四,总结

Hbase是运行在Hadoop上的NoSQL数据库,它是一个分布式的和可扩展的大数据仓库,也就是说HBase能够利用HDFS的分布式处理模

式,并从Hadoop的MapReduce程序模型中获益。这意味着在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优

势,HBase本身就是十分强大的数据库,它能够融合key/value存储模式带来实时查询的能力,以及通过MapReduce进行离线处理或者批处理

的能力。

HBase不是一个关系型数据库,它需要不同的方法定义你的数据模型,HBase实际上定义了一个四维数据模型,下面就是每一维度的定义:

行键:每行都有唯一的行键,行键没有数据类型,它内部被认为是一个字节数组。

列簇:数据在行中被组织成列簇,每行有相同的列簇,但是在行之间,相同的列簇不需要有相同的列修饰符。在引擎中,HBase将列簇存储在它自己的数据文件中,所以,它们需要事先被定义,此外,改变列簇并不容易。

列修饰符:列簇定义真实的列,被称之为列修饰符,你可以认为列修饰符就是列本身。

推荐阅读:

1,Hadoop伪分布式集群安装部署

2,Spark部署模式另类详解

3,Spark调优系列之硬件要求

4,Kafka源码系列之topic创建分区分配及leader选举

本文分享自微信公众号 - Spark学习技巧(bigdatatip),作者:浪尖

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-11-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 实战phoenix

    一 安装部署 1, 下载 http://archive.apache.org/dist/phoenix/ 本文下载的是apache-phoenix-4.12....

    Spark学习技巧
  • 入门大数据必读

    Spark学习技巧
  • Spark 下操作 HBase(1.0.0 新 API)

    hbase1.0.0版本提供了一些让人激动的功能,并且,在不牺牲稳定性的前提下,引入了新的API。虽然 1.0.0 兼容旧版本的 API,不过还是应该尽早地来熟...

    Spark学习技巧
  • HBase权限控制

    kongxx
  • HBase 在Linux&Mac 下的安装和配置

    详情参考 http://hbase.apache.org/book.html#quickstart

    Meet相识
  • 安装单机hbase

    安装jdk 下载hbase wget http://archive.apache.org/dist/hbase/hbase-1.0.0/hbase-1.0.0-...

    零月
  • hbase1.1.4集群搭建

      注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

    intsmaze-刘洋
  • 技术干货 | hbase配置详解

    为了能够让namespace支持使用配置属性,如:namespace下表个数(hbase.namespace.quota.maxtables)或者region个...

    加米谷大数据
  • Hbase伪分布式集群搭建

    CoderJed
  • HBase介绍

    Clive

扫码关注云+社区

领取腾讯云代金券