大数据集群服务安装-zk，hadoop，hbase

接上一篇：大数据集群安装-开发环境基础配置

按顺序安装如下组件

zookeeper

hadoop

hbase

mysql

hive

azkaban

sqoop

spark

由于开发环境，所以hadoop,hbase都不需要HA高可用

(一) zookeeper

1) 解压，编辑配置文件,分发

解压:

tar -zxvf zookeeper.tar.gz -C ~/bigdata/

编辑：

cd zookeeper/conf

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

设置如下选项：3台作为zk服务的机器主机名

dataDir=/home/bigdata/data/zookeeper/data

dataLogDir=/home/bigdata/data/zookeeper/log

server.1=hadoop2:2888:3888

server.2=hadoop3:2888:3888

server.3=hadoop4:2888:3888

(主机名, 心跳端口、数据端口)

拷贝:

scp -r zookeeper-3.4.5/ hadoop3:~/bigdata/

scp -r zookeeper-3.4.5/ hadoop4:~/bigdata/

2) 创建数据目录，log目录--在3台机器上都要创建

mkdir -p/home/bigdata/data/zookeeper/data

mkdir -p/home/bigdata/data/zookeeper/log

3) 创建文件myid

在三台机器上 cd /home/bigdata/data/zookeeper/data

vi myid （原来没有这个文件）对应在里边添加：1，2，3

注：1,2,3分别对应1）中server.1 server.2 server.3

4) 启动zk服务

zkServer.sh start

zkServer.sh status

(二) hadoop

1.在计划安装hadoop 的节点上 解压hadoop

tar -zxvf hadoop.tar.gz -C ~/bigdata/

2.修改配置文件

cd /home/bigdata/bigdata/hadoop-2.7.4/etc/hadoop

1)修改hadoop-env.sh

export JAVA_HOME=/usr/local/jdk8

2)修改core-site.xml

fs.defaultFS

hdfs://hadoop2:9000

file:/home/bigdata/data/hadoop/tmp/

3）修改hdfs-site.xml

file:/home/bigdata/data/hadoop/name/

file:/home/bigdata/data/hadoop/data/

dfs.replication

2

hadoop2:50090

4)修改mapred-site.xml

yarn

-Xmx4096m

4096

4096

-Xmx4096m

hadoop2:10020

MR JobHistory Server管理的日志的存放位置

mapreduce.jobhistory.webapp.address

hadoop2:19888

查看历史服务器已经运行完的Mapreduce作业记录的web地址，需要启动该服务才行

4)修改yarn-site.xml

hadoop2

mapreduce_shuffle

16392

2048

4.0

8

6) 修改slaves文件，添加要作为datanode的主机名

hadoop3

hadoop4

3. 分发hadoop到集群其他所有机器上

scp -r hadoop-2.7.4/ hadoop3:~/bigdata/

scp -r hadoop-2.7.4/ hadoop4:~/bigdata/

4.初始化工作目录结构

在hadoop2 上执行 hdfs namenode -format

hdfs namenode -format 只是初始化了namenode的工作目录

而datanode的工作目录是在datanode启动后自己初始化的

[bigdata@hadoop2 current]$ cat VERSION

#Fri Jun 22 18:10:00 CST 2018

namespaceID=5181496

clusterID=CID-44e594ba-1d0c-4951-bbbd-e4a75a6fb1f1

cTime=0

storageType=NAME_NODE

blockpoolID=BP-2007687155-172.16.15.31-1529662200803

layoutVersion=-63

5.启动hdfs,yarn的服务

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver 启动MR historyServer

http://hadoop2:50070/ namenode

http://hadoop2:50090/ secondaryNamenode

bin/hdfs dfsadmin -report 查看hdfs的各节点状态信息

(三)hbase

1.在计划安装hbase的节点上 解压hbase

tar -zxvf hbase.tar.gz -C ~/bigdata/

2. 修改配置文件

1)hbase-env.sh

export JAVA_HOME=/usr/local/jdk8 //jdk安装目录

export HBASE_MANAGES_ZK=false #如果使用独立安装的zookeeper这个地方就是false

2)hbase-site.xml

hbase.master#hbasemaster的主机和端口

hadoop2:60000

180000

hbase.rootdir

hdfs://hadoop2:9000/hbase #hbase共享目录，持久化hbase数据

true

hadoop2,hadoop3,hadoop4

2181

/home/bigdata/data/hbase/zookeeper

/home/bigdata/data/hbase/tmp

3)修改Regionservers文件 //Hbaseregionserver的域名

hadoop3

hadoop4

3. 把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

cp $/etc/hadoop/hdfs-site.xml $/conf/

cp $/etc/hadoop/core-site.xml $/conf/

4. 发送到其他机器

scp -r $/ hadoop3:~/bigdata/

scp -r $/ hadoop4:~/bigdata/

5. 启动

在 HBase Master hadoop2 上运行start-hbase.sh启动Hbase集群

查看

进程：jps

hbase-daemon.sh stop regionserver停止某台Hbase regionServer

进入hbase的shell：hbase shell

退出hbase的shell：quit

页面：

http://hadoop2:16010/