从零开始搭建hadoop3集群

配置参考文章

https://blog.csdn.net/dream_an/article/details/80258283

准备工作

起始是一台ubuntu，另外两台是裸机。准备一个u盘(用来复制系统或拷贝文件)。

需求

在三台机上配置好hadoop、zookeeper、hbase、hive集群。

路线选择：

1. 先在有ubuntu的机上配置好hadoop，然后备份系统，直接复制到两台裸机上。然后再用ssh操纵三台机器配置zookeeper等其它组件。
2. 三台机都安装好ubuntu，再分别配置，只是操纵三台机麻烦。
3. 在一台机上把所有组件的配置文件写好，再复制到另外两台裸机上。

我是用的第一种，因为hadoop的配置文件最多，过程最麻烦，最好先验证hdfs正常运行后再继续安装。

安装顺序

1. 安装、配置hadoop，启动并检验hdfs集群
   1. 在一台电脑上将hadoop配置文件写好
   2. 通过systemback备份系统复制到两台裸机上
2. 安装、配置zookeeper，启动并检验zk集群
3. 在namenode机安装、配置hive

附加技能

在安装集群的过程中，你可能需要学会以下技能：

1. 备份ubuntu系统并在其它机器上还原
2. 修改ubuntu主机名、hosts

1. 配置hadoop集群

1.1 在一台电脑配置hadoop

跟随千锋大数据中级教程

P.36~P.39做即可

注意事项：

1. 主机名应当尽量与hosts中的映射域名一致。 比如hosts中某一条为xx.xx.xx.xx hadoop01则主机名应当为hadoop01
2. hosts中一个域名只能映射到一个ip，不要在文件里为同一个域名指定两个ip。

1.2 将该电脑上的系统移植到其它系统

systemback ubuntu系统备份 恢复 简单快速有效

需要修改

2.安装、配置zookeeper

跟随千锋大数据中级教程P.47即可

注意事项：

conf/zoo.cfg中的dataDir一行：

dataDir=/usr/zookeeper/zkData

请填写绝对路径，不要用${ZK_HOME}这样的变量，否则可能会连接失败

3. 安装配置hive

跟随千锋大数据中级教程P.74即可

注意事项：

1. conf/hive-site.xml中的数据库url不要填域名，直接填ip即可。
2. mysql-connnector可以去官网下载deb包，解压，查找.jar包，把jar包放到lib目录

三台电脑不同的部分

hosts

zookeeper/zkData/myid