Ambari+HDP 部署Hadoop 集群

Freedom123

发布于 2024-03-29 08:57:57

1130

发布于 2024-03-29 08:57:57

文章被收录于专栏：DevOpsDevOps

1. 服务器准备 1 主机名 1.1 修改hostname

hostnamectl set-hostname ambari

1.2 vi /etc/hosts

192.168.3.212   192-168-3-212.baicheng.com
192.168.3.133   192-168-3-133.baicheng.com #创建ambari用户,密码ambari
192.168.3.134   192-168-3-134.baicheng.com
192.168.3.135   192-168-3-135.baicheng.com
192.168.3.136   192-168-3-136.baicheng.com
192.168.3.137   192-168-3-137.baicheng.com
192.168.3.138   192-168-3-138.baicheng.com
192.168.3.139   192-168-3-139.baicheng.com

2 防火墙

systemctl disable firewalld
systemctl stop firewalld

3 selinux 临时关闭:

setenforce 0

永久关闭：

vi /etc/sysconfig/selinux        #修改配置文件需要重启机器
SELINUX=disabled

查看SELinux状态：

sestatus

4 免密其中ambari对其他6台服务器以及本服务器（ambari）进行免密登录

ssh-keygen -t rsa
ssh-copy-id 192.168.200.128

5 时间同步

yum install ntpdate
ntpdate ntp1.aliyun.com

注意：建议硬盘50G以上

192.168.80.144   ambari01 　 #部署Ambari-server和Mirror server
192.168.80.145   ambari02　　#部署Agent
192.168.80.146   ambari03　　#部署Agent
192.168.80.147   ambari04　      #部署Agent

2. 应用包准备 1. jdk jdk-8u151-linux-x64.tar.gz http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2. mysql mysql-5.6.33-linux-glibc2.5-x86_64.tar https://www.mysql.com/downloads/ 3. Python2.6/2.7 #centos自带 4. HDP-UTILS HDP-UTILS-1.1.0.21-centos7.tar.gz http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz 5. HDP HDP-2.6.3.0-centos7-rpm.tar.gz http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP-2.6.3.0-centos7-rpm.tar.gz 6. ambari ambari-2.6.0.0-centos7.tar.gz http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari-2.6.0.0-centos7.tar.gz 7. hdp.repo http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.3.0/HDP.repo 8. ambari.repo http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.0.0/ambari.repo 3. 部署安装 1. jdk安装 1.1 上传解压 1.2 配置jdk环境

export JAVA_HOME=/usr/local/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

1.3 同步到其他主机

scp -r /etc/profile root@ip:/etc/profile
scp -r jdk1.8.0_151 root@ip:`pwd`

1.4 环境变量生效

source /etc/profile

2. 制作本地源(Ambari节点上即可) 2.1 安装Apache HTTP服务器 (1) 安装http服务器

yum install httpd -y
firewall-cmd --add-service=http
firewall-cmd --permanent --add-service=http

(2) Apache服务自动启动

systemctl start httpd.service
systemctl enable httpd.service

2.2 安装本地源制作工具

yum install yum-utils createrepo -y

2.3 安装httpd网站 (1) 创建Ambari及HDP-UTILS

cd /var/www/html/
mkdir ambari
cd /var/www/html/ambari
mkdir HDP-UTILS

(2) 上传文件到 /var/www/html/ambari/

HDP-UTILS-1.1.0.21-centos7.tar.gz
HDP-2.6.3.0-centos7-rpm.tar.gz
ambari-2.6.0.0-centos7.tar.gz

(3) 解压

tar -zxvf ambari-2.6.0.0-centos7.tar.gz
tar -zxvf HDP-2.6.3.0-centos7-rpm.tar.gz
mv HDP-UTILS-1.1.0.21-centos7.tar.gz /var/www/html/ambari/HDP-UTILS/
cd /var/www/html/ambari/HDP-UTILS/
tar -zxvf HDP-UTILS-1.1.0.21-centos7.tar.gz
mv HDP-UTILS-1.1.0.21-centos7.tar.gz /var/www/html/ambari/

(4) 查看网站

http://192.168.3.133/ambari/

2.4 配置本地源 (1) 配置ambari.repo #url地址为解压文件中的路径修改baseurl为：

baseurl=http://192.168.3.133/ambari/ambari/centos7/2.6.0.0-267

修改gpgkey为：

 gpgkey=http://192.168.3.133/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

全部内容：

#VERSION_NUMBER=2.6.0.0
[ambari-2.6.0.0]
name=ambari Version - ambari-2.6.0.0
baseurl=http://192.168.200.10/ambari/ambari/centos7/2.6.0.0-267
gpgcheck=0
gpgkey=http://192.168.200.10/ambari/ambari/centos7/2.6.0.0-267/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

(2) 配置hdp.repo 修改HDP-2.6.3.0下baseurl为：

 baseurl=http://192.168.3.133/ambari/HDP/centos7/2.6.3.0-235

修改HDP-2.6.3.0下gpgkey为：

gpgkey=http://192.168.3.133/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

修改HDP-UTILS-1.1.0.21下baseurl为：#注意，若版本号不一致，需要更改为当前版本号

baseurl=http://192.168.3.133/ambari/HDP-UTILS/

修改HDP-UTILS-1.1.0.21下gpgkey为

gpgkey=http://192.168.3.133/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

全部内容：

#VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.200.10/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=0
gpgkey=http://192.168.200.10/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
                    
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS-1.1.0.21
baseurl=http://192.168.200.10/ambari/HDP-UTILS/
gpgcheck=0
gpgkey=http://192.168.200.10/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

(3) 移动文件

mv ambari.repo /etc/yum.repos.d/
mv hdp.repo/etc/yum.repos.d/

更加yum源信息

yum clean all
yum list update
yum makecache
yum repolist

3. 安装Mysql Ambari安装会将安装等信息写入数据库，建议使用自己安装的Mysql数据库，也可以不安装而使用默认数据库PostgreSQL (1) MySql 安装A 获取Mysql

wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm
rpm -ivh mysql57-community-release-el7-8.noarch.rpm  --nodeps --force

安装Mysql

yum install mysql-server

查看MySql状态

service mysqld status

启动服务

systemctl start mysqld

重置密码 MySQL5.7会在安装后为root用户生成一个随机密码，而不是像以往版本的空密码。可以安全模式修改root登录密码或者用随机密码登录修改密码 MySQL为root用户生成的随机密码通过mysqld.log文件可以查找到：

grep 'temporary password' /var/log/mysqld.log

修改密码：

mysql -u root -p
set global validate_password_policy=0;
set global validate_password_length=4;
set PASSWORD=PASSWORD('1234');
mysql> Enter password: （输入刚才查询到的随机密码）
mysql> update mysql.user set authentication_string=password('1234') where user='root'
mysql> exit

新密码登陆：

mysql -u root -p 1234

(2) 创建ambari数据库创建ambari数据库以及ambariuser数据库用户并授权

create database ambari character set utf8 ; 
CREATE USER 'ambariuser'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ambariuser'@'%';
FLUSH PRIVILEGES;
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

(3) 创建hive数据库创建hive数据库以及hiveuser数据库用户并授权

create database hive character set utf8 ; 
CREATE USER 'hiveuser'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'hiveuser'@'%';
FLUSH PRIVILEGES;
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

(3) 安装jdbc驱动

 yum install mysql-connector-java -y

4. 安装Ambari (1) 安装ambari服务

yum install -y ambari-server

(2) 执行安装

 ambari-server setup

(3) 检查SELinux是否关闭，如果关闭不用操作

Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled

(4) 自定义设置

  Customize user account for ambari-server daemon [y/n] (n)? y

输入ambari-server账号，输入：ambari（ambari主机上创建的用户）

Enter user account for ambari-server daemon (root):ambari

选择JDK，输入：3 #.... 此处省略 Enter choice (1): 3 键入JDK PATH，输入：

/usr/local/jdk1.8.0_151

数据库配置，输入：y

Configuring database...
Enter advanced database configuration [y/n] (n)? y

选择数据库，输入：3 #.... 此处省略 Enter choice (1): 3 数据库具体配置信息，如果和默认相同直接回车（下面的IP代表数据库所在的节点）

Hostname (localhost): 192.168.3.212
Port (3306):
Database name (ambari):
Username (ambari): ambariuser
Enter Database Password (bigdata): 123456
Re-enter password: 123456
Configuring ambari database...

启动Ambari服务前，需要将Ambari的sql脚本导入数据库用Ambari用户（上面设置的用户，无密码）登录mysql

mysql -u ambari -p
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

启动Ambari

ambari-server start

4. 集群配置 1. 登陆

http://192.168.3.133:8080/  admin/admin

2. 添加集群 2.1 集群设置 Launch Install Wizard 2.2 设置集群名称 2.3 设置HDP安装源选择HDP2.6.3.0，使用Use Local Repository，选择redhat7，Base URL内容填写与HDP.repo中的URL地址一致 2.4 设计集群节点 Target Hosts中填入需要加入集群的主机名点击“浏览”按钮，上传id_rsa文件（该文件需要从192.168.3.133节点中/root/.ssh/目录中获取） 2.5 主机确认 2.6 选择需要安装的服务 2.7 配置Slaves和Clients节点 2.8 用户服务配置 2.9 配置信息确认 2.10 安装

注意：安装Ambari-agent