前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >Ambari离线安装大数据集群

Ambari离线安装大数据集群

原创
作者头像
DataScience
修改于 2021-01-18 17:56:54
2.2K0
修改于 2021-01-18 17:56:54
举报
文章被收录于专栏：A2DataA2Data

Ambari 离线安装大数据集群

Ambari 系列搭建集群的教程。 小编带你一步步躺坑，带你完全从小白系列搭建一套属于自己的大数据集群。

如下大纲：

1、环境准备

1.1 安装环境

Centos 最小化安装：各个节点进行：网络配置(Nat 模式且可以共享主机网络)

环境部分，所有节点都要做！！！

代码语言：txt
复制
-  Master 6G 2C 60G
-  Node1 4G 1C 50G
-  Node2 4G 1C 50G

1.2 修改IP

代码语言：txt
复制
# 修改命令
vi /etc/sysconfig/network-scripts/ifcfg-ens32 

# 内容如下
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=dhcp    --- 动态ip
DEFROUTE=yes
NAME=ens32
DEVICE=ens32
ONBOOT=yes       ---自动获取
IPADDR=192.168.6.5
NETMASK=255.255.255.0

#重启网络
service network restart

1.3 修改主机名

代码语言：txt
复制
# 命令修改
hostnamectl set-hostname Master.hadoop
hostnamectl set-hostname Node1.hadoop
hostnamectl set-hostname Node2.hadoop

# 修改文件
vi /etc/hosts

192.168.6.5 Master.hadoop 
192.168.6.6 Node1.hadoop 
192.168.6.8 Node2.hadoop

1.4 免密登录

代码语言：txt
复制
# 生成密钥
ssh-keygen

# 免密配置
ssh-copy-id -i /root/.ssh/id_rsa.pub Master.hadoop
ssh-copy-id -i /root/.ssh/id_rsa.pub Node1.hadoop
ssh-copy-id -i /root/.ssh/id_rsa.pub Node2.hadoop

1.5 防火墙

代码语言：txt
复制
# 关闭防火墙
systemctl disable firewalld
systemctl stop firewall

#关闭SELinux

临时关闭，不用重启机器：
setenforce 0
修改配置文件需要重启机器：
vi /etc/sysconfig/selinux
SELINUX=disabled

# 查看SELinux状态
sestatus

1.6 安装Httpd

代码语言：txt
复制
#安装 Apache HTTP 服务器
#安装HTTP 服务器，允许 http 服务通过防火墙(永久)

[root@Master ~]# yum install httpd
[root@Master ~]# firewall-cmd --add-service=http 
[root@Master ~]# firewall-cmd --permanent --add-service=http

添加 Apache 服务到系统层使其随系统自动启动
[root@Master ~]# systemctl start httpd.service
[root@Master ~]# systemctl enable httpd.service

1.7 开启NTP

代码语言：txt
复制
# 开启NTP服务
[root@Master ~]#yum install ntp
[root@Master ~]#systemctl is-enabled ntpd
disabled
[root@Master ~]#systemctl enable ntpd
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
[root@Master ~]#systemctl start ntpd

1.8 JDK

1.8.1 Master安装
代码语言：txt
复制
# 解压下载压缩包
tar xf jdk-8u144-linux-x64.tar.gz -C /usr/local/

# 修改环境变量
vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_144/
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# 刷新环境
source /etc/profile

# 查看
java -version
1.8.2 Scp脚本

同步到 Node1，Node2, 可以到Node....N

代码语言：txt
复制
# 编写脚本如下：
vi scp.sh

#!/bin/bash
cat host | while read host
do
{
    scp -r $1 $host:$2
}&wait
done

# 编写host 文件,注意与scp.sh 放到一个路径下
vi host

Node1.hadoop
Node2.hadoop


利用shell拷贝
 sh scp.sh /usr/local/jdk1.8.0_144/ /usr/local/jdk1.8.0_144/
 sh scp.sh /etc/profile /etc/
 
 使环境变量生效（全执行）
 source /etc/profile

1.9 时区同步

修改完之后记得重启。 reboot

代码语言：txt
复制
# 查看时区
date
ll  /etc/localtime

# 修改
timedatectl set-timezone 'Asia/Shanghai'
timedatectl

2、Amabri源

2.1 添加Amabri用户

代码语言：txt
复制
adduser ambari
passwd ambari

2.2 安装本地源制作工具

代码语言：txt
复制
yum install yum-utils createrepo

2.3 下载Amabri-HDP源

代码语言：txt
复制
#本部分小编已经传到云盘,如有需要联系小编

# 创建Amabri文件夹
mkdir ambari

# 进入文件夹 
cd ambari

# 将下载的Amabri源放到ambari文件夹中,可以使用FZ 等工具上传较快
# 上传完成之后,解压到web服务路径

 tar xf ambari-2.6.0.0-centos7.tar.gz -C /var/www/html/ambari/
 
 tar xf HDP-2.6.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari/
 
tar xf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/HDP-UTILS/

# 访问本地源  更改为自己的 ip
http://192.168.6.5/ambari/

2.4 配置yum源

代码语言：txt
复制
# 进入yum路径
cd  /etc/yum.repos.d/

# 配置Amabri-yum 源
 vi ambari.repo
 
 #VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.6.5/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

# 配置HDP-repo 源
 vi hdp.repo
 
 #VERSION_NUMBER=2.6.3.0-235
[HDP-2.6.3.0]
name=HDP Version - HDP-2.6.3.0
baseurl=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.21]
name=HDP Utils Version - HDP-UTILS-1.1.0.21
baseurl=http://192.168.6.5/ambari/HDP-UTILS
gpgcheck=1
gpgkey=http://192.168.6.5/ambari/HDP-UTILS/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

# yum更新一下
 yum clean all
 yum list update
 yum makecache
 yum repolist

2.5 安装Mysql

代码语言：txt
复制
# yum安装
yum install mariadb-server

# 启动
 systemctl start mariadb
 systemctl enable mariadb
 mysql_secure_installation
 
 [root@Master ~]# mysql_secure_installation
#首先是设置密码，会提示先输入密码
Enter current password for root (enter for none):<–初次运行直接回车
#设置密码
Set root password? [Y/n] <– 是否设置root用户密码，输入y并回车或直接回车
New password: <– 设置root用户的密码
Re-enter new password: <– 再输入一次你设置的密码
#其他配置
Remove anonymous users? [Y/n] <– 是否删除匿名用户，回车
Disallow root login remotely? [Y/n] <–是否禁止root远程登录,回车,
Remove test database and access to it? [Y/n] <– 是否删除test数据库，回车
Reload privilege tables now? [Y/n] <– 是否重新加载权限表，回车
#初始化MariaDB完成，接下来测试登录，输入密码能正常登陆就完成了
 
 # 安装完成后创建ambari数据库及用户，登录数据库root用户执行下面语句：
[root@Master ~]# mysql -uroot -p
create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
# 如果要安装Hive，再创建Hive数据库和用户 再执行下面的语句：
create database hive character set utf8 ;  
CREATE USER 'hive'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

# 如果要安装Oozie，再创建Oozie数据库和用户 再执行下面的语句：
create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

2.6 安装Mysql驱动

代码语言：txt
复制
# 也可以自己下载 配置启动的时候带上
yum install mysql-connector-java

2.7 安装Amabri服务

代码语言：txt
复制
# 安装ambari服务
yum install ambari-server

# 配置ambari服务
 ambari-server setup
 
 # 登录mysql
 mysql -u ambari -p123456
 
 # 进行设置
 use ambari;
 source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

# 启动ambari服务
ambari-server start

2.8 卸载Amabri收费服务

SmartSense 收费服务，移除掉。也可以安装后再移除,这里在安装前移除下。

移除前景
移除方式
代码语言：txt
复制
# 查包
rpm -qa | greo ambri-agent

#查找 名称
find / -name SMARTSENSE


[root@master yum.repos.d]# find / -name SMARTSENSE
/var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE
/var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# find / -name SMARTSENSE | xargs
/var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE /var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# rm -rf /var/lib/ambari-server/resources/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# find / -name SMARTSENSE | xargs
/var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# rm -rf /var/lib/ambari-agent/cache/stacks/HDP/2.1/services/SMARTSENSE
[root@master yum.repos.d]# find / -name SMARTSENSE | xargs
移除完成

3、搭建集群

3.1 启动Amabri

代码语言：txt
复制
ambari-server start

3.2 登录Amabri

代码语言：txt
复制
# 可以替换为自己的服务器ip
http://192.168.6.5:8080/#/login

# 账号
admin/admin

3.3 配置集群

3.3.1 开始配置
3.3.2 设置名称
3.3.3 配置本地源

Amabri 地址：

代码语言：txt
复制
http://192.168.6.5/ambari/HDP/centos7/2.6.3.0-235/
http://192.168.6.5/ambari/HDP-UTILS/

跟本地源要保持一致：

3.3.4 主机名称

与上边设置保持一致,否则会导致下一步注册失败。 密钥文件填写Master 上的key即可。

代码语言：txt
复制
# 查看Key 命令，然后全部复制，粘贴即可

cat /root/.ssh/id_rsa
3.3.5 注册认证
3.3.6 选择安装服务
3.3.7 配置安装节点资源
3.3.8 配置数据源连接

Hive-TEZ 最少需要 512MB 否则警告。

安装中.........

3.3.9 安装完成

Hive 服务启动异常,重新启动下即可。

第一次启动如下：

4、初步认识

4.1 HDFS

Master 主节点 查看Hdfs

Node1 从节点，查看HDFS

4.2 Hive

Node1 从节点，切换hive 用户，登录hive数据库。

4.3 Hbase

4.4 Spark

4.5 PySpark

4.6 Amabri_Server

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

大数据

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

大数据
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • Ambari 离线安装大数据集群
  • 1、环境准备
    • 1.1 安装环境
      • 1.2 修改IP
        • 1.3 修改主机名
          • 1.4 免密登录
            • 1.5 防火墙
              • 1.6 安装Httpd
                • 1.7 开启NTP
                  • 1.8 JDK
                    • 1.8.1 Master安装
                    • 1.8.2 Scp脚本
                  • 1.9 时区同步
                  • 2、Amabri源
                    • 2.1 添加Amabri用户
                      • 2.2 安装本地源制作工具
                        • 2.3 下载Amabri-HDP源
                          • 2.4 配置yum源
                            • 2.5 安装Mysql
                              • 2.6 安装Mysql驱动
                                • 2.7 安装Amabri服务
                                  • 2.8 卸载Amabri收费服务
                                  • 3、搭建集群
                                    • 3.1 启动Amabri
                                      • 3.2 登录Amabri
                                        • 3.3 配置集群
                                          • 3.3.1 开始配置
                                          • 3.3.2 设置名称
                                          • 3.3.3 配置本地源
                                          • 3.3.4 主机名称
                                          • 3.3.5 注册认证
                                          • 3.3.6 选择安装服务
                                          • 3.3.7 配置安装节点资源
                                          • 3.3.8 配置数据源连接
                                          • 3.3.9 安装完成
                                      • 4、初步认识
                                        • 4.1 HDFS
                                          • 4.2 Hive
                                            • 4.3 Hbase
                                              • 4.4 Spark
                                                • 4.5 PySpark
                                                  • 4.6 Amabri_Server
                                                  相关产品与服务
                                                  大数据
                                                  全栈大数据产品，面向海量数据场景，帮助您 “智理无数，心中有数”！
                                                  产品介绍
                                                  精选特惠 用云无忧
                                                  领券

                                                  腾讯云开发者

                                                  扫码关注腾讯云开发者

                                                  扫码关注腾讯云开发者

                                                  领取腾讯云代金券

                                                  热门产品

                                                  热门推荐

                                                  更多推荐

                                                  Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

                                                  深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

                                                  腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

                                                  问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

                                                  Copyright © 2013 - 2024 Tencent Cloud.

                                                  All Rights Reserved. 腾讯云 版权所有

                                                  登录 后参与评论