使用Ambari搭建Hadoop平台

手动安装Hadoop的朋友都知道,这是一个痛苦的过程。一天时间,你能够把上千台机器全部安装完成么?包括Hive、Spark、Hbase等。

这当然要借助工具,国内用户安装Hadoop套件,习惯使用CM安装CDH,但这次,我们想尝试一下Hortonworks的Ambari来安装HDP。由于没有免费版收费版的区别,整个使用过程是非常流畅的。因为机器多且网络差的原因,我们使用本地镜像的方式进行安装。

以centos7为例,以下是安装过程~

准备阶段

搭建镜像

下载以下文件,并上传到某台服务器上,然后解压。

解压,并启动一个简单的http服务器,搭建本地镜像。

至此,访问 http://ip:8000就可以访问我们的镜像了。

免密登陆

这个是每种安装都需要的

然后将文件追加到每台机器的信任列表

可以使用ansible等去完成这个体力活。

将下载的repo加入到源

修改里面的ip地址和路径,将地址指向我们的本地镜像。如

配置hosts

当然也可以直接使用DNS;或者ip,但会显得乱

类似这种

安装ambari-server

安装基础依赖

安装jdk,每个节点执行

安装数据库,当然也可以用现有的

导入脚本到数据库

安装jdbc驱动(驱动提前下载到/usr/share/java)

给予MySQL外网授权

启动ambari-server

在线配置

访问http://ip:8080端口,即可进入ambari后台

给集群起个名字

选择版本并设置本地镜像

把机器加入到集群中

同时,配置自动登录的私钥信息

选择集群安装的软件

涉及服务拓扑

将不同的服务根据需要安装在不同的机器上。

设置其他主从信息

设置一些管理账号

配置数据库连接信息

指定一些项目的参数

设置系统用户

开始安装

由于采用的是本地镜像,无需下载,所以速度非常快。

安装完成

安装完成后即可进入主界面

清理

SmartSense服务可能会启动失败,根据文档需要提供一个ID,我们可以同多调用接口删除这个模块。

  • 发表于:
  • 原文链接:https://kuaibao.qq.com/s/20181201G0Q9RV00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券