使用Ambari搭建Hadoop平台

手动安装Hadoop的朋友都知道，这是一个痛苦的过程。一天时间，你能够把上千台机器全部安装完成么？包括Hive、Spark、Hbase等。

这当然要借助工具，国内用户安装Hadoop套件，习惯使用CM安装CDH，但这次，我们想尝试一下Hortonworks的Ambari来安装HDP。由于没有免费版收费版的区别，整个使用过程是非常流畅的。因为机器多且网络差的原因，我们使用本地镜像的方式进行安装。

以centos7为例，以下是安装过程～

准备阶段

搭建镜像

下载以下文件，并上传到某台服务器上，然后解压。

解压，并启动一个简单的http服务器，搭建本地镜像。

至此，访问 http://ip:8000就可以访问我们的镜像了。

免密登陆

这个是每种安装都需要的

然后将文件追加到每台机器的信任列表

可以使用ansible等去完成这个体力活。

将下载的repo加入到源

修改里面的ip地址和路径，将地址指向我们的本地镜像。如

配置hosts

当然也可以直接使用DNS；或者ip，但会显得乱

类似这种

安装ambari-server

安装基础依赖

安装jdk，每个节点执行

安装数据库，当然也可以用现有的

导入脚本到数据库

安装jdbc驱动（驱动提前下载到/usr/share/java)

给予MySQL外网授权

启动ambari-server

在线配置

访问http://ip:8080端口，即可进入ambari后台

给集群起个名字

选择版本并设置本地镜像

把机器加入到集群中

同时，配置自动登录的私钥信息

选择集群安装的软件

涉及服务拓扑

将不同的服务根据需要安装在不同的机器上。

设置其他主从信息

设置一些管理账号

配置数据库连接信息

指定一些项目的参数

设置系统用户

开始安装

由于采用的是本地镜像，无需下载，所以速度非常快。

安装完成

安装完成后即可进入主界面

清理

SmartSense服务可能会启动失败，根据文档需要提供一个ID，我们可以同多调用接口删除这个模块。