前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >Ambari安装指南 顶

Ambari安装指南 顶

作者头像
白石
发布于 2019-08-23 10:26:10
1.5K0
发布于 2019-08-23 10:26:10
举报
文章被收录于专栏：白石白石

(WJW)Ambari安装指南

Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.1.2. 就 Ambari 的作用来说,就是创建,管理,监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop. 用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具. 说到这里,大家就应该明白什么人最需要 Ambari 了.那些苦苦花费好几天去安装,调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的. 而且,Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署. Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent.简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件; Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护.

[X] 安装环境:

  • 系统版本:CentOS 6.3 x86_64
  • JAVA版本:JDK-1.7.x
  • 确保机器的 Python 版本大于或等于2.6
  • 服务器列表:

192.168.68.17 T1.youyuan.cn #Ambari Server,namenode1,resourcemanager

192.168.68.18 T2.youyuan.cn #Ambari Agent,namenode2,journalnode1,datanode1,nodemanager1

192.168.68.20 T3.youyuan.cn #Ambari Agent,journalnode2,datanode2,nodemanager2

192.168.68.21 T4.youyuan.cn #Ambari Agent,journalnode3,datanode3,nodemanager3

  • SSL

需要openssl的1.0以上版本!

代码语言：javascript
复制
yum install openssl
或者
yum upgrade openssl
  • JDK

建议安装Sun的JDK1.7版本! 安装完毕并配置java环境变量,在/etc/profile末尾添加如下代码: export JAVA_HOME=/usr/java/default export PATH=$JAVA_HOME/bin:$PATH 保存退出即可,然后执行source /etc/profile生效.在命令行执行java -version 如下代表JAVA安装成功.

  • ssh

需要配置各个节点的免密码登录! 首先在自己机器上使用ssh-keygen -t rsa 会要求输入密码(必须为空),回车几次,然后会在HOME目录下生成.ssh文件夹, 里面有私钥和公钥,公钥为~/.ssh/id_rsa.pub,私钥为~/.ssh/id_rsa. 配置本地的免登录 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 现在你需要将你的公钥拷贝到服务器上,如果你的系统有ssh-copy-id命令,拷贝会很简单:ssh-copy-id 用户名@服务器名, 否则,你需要手动将你的私钥拷贝到服务器上的~/.ssh/authorized_keys文件中!scp ~/.ssh/authorized_keys T1.youyuan.cn:/root/.ssh/

  • NTP

集群的时钟要保证基本的一致.稍有不一致是可以容忍的,但是很大的不一致会 造成奇怪的行为. 运行 NTP 或者其他什么东西来同步你的时间. 如果你查询的时候或者是遇到奇怪的故障,可以检查一下系统时间是否正确!

代码语言：javascript
复制
echo "server 192.168.0.2" >> /etc/ntp.conf  
chkconfig ntpd on  
service ntpd restart  
ntpq -p
  • ulimit和nproc

Hdaoop会在同一时间使用很多的文件句柄.大多数linux系统使用的默认值1024是不能满足的,修改/etc/security/limits.conf文件为:

代码语言：javascript
复制
      *               soft    nproc   16384
      *               hard    nproc   16384  
      *               soft    nofile  65536  
      *               hard    nofile  65536
  • 修改 192.168.68.17,192.168.68.18,192.168.68.20,192.168.68.21 的etc/hosts文件 在文件最后添加:

代码语言：javascript
复制
192.168.68.17  T1.youyuan.cn
192.168.68.18  T2.youyuan.cn
192.168.68.20  T3.youyuan.cn 
192.168.68.21  T4.youyuan.cn
  • 禁止 PackageKit
代码语言：javascript
复制
pkill -9 packagekitd
vim /etc/yum/pluginconf.d/refresh-packagekit.conf

将内容改为enabled=0

[X] 安装Ambari Server

在T1上操作

[1] 添加yum资源库:

代码语言：javascript
复制
cd /tmp
wget -O ambari.repo http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.2/ambari.repo  
cp ambari.repo /etc/yum.repos.d  
yum install epel-release

[2] 校验YUM仓库ambari:

由于公司安全机制,这个地方可能不会安装成功 执行yum repolist,如果有ambari字符串的话,就可以开始安装了!

[3.1] YUM在线安装: ambari-server

代码语言：javascript
复制
yum install ambari-server

实验证明,网速巨慢,耐心...,等待安装完成!

[3.2] YUM离线本地安装: ambari-server

  • 先找一个网络好的环境,配置/etc/yum.conf文件,修改keepcache为1,来保留安装包;再通过yum install ambari-server安装成功后后;把相关的rpm文件复制到需要离线安装的环境上;例如:
代码语言：javascript
复制
ambari-server-2.1.2-377.x86_64.rpm
ambari-agent-2.1.2-377.x86_64.rpm
postgresql-8.4.20-3.el6_6.x86_64.rpm
postgresql-devel-8.4.20-3.el6_6.x86_64.rpm
postgresql-libs-8.4.20-3.el6_6.x86_64.rpm
postgresql-server-8.4.20-3.el6_6.x86_64.rpm
  • 再执行yum localhost ./postgresql-8.4.20-3.el6_6.x86_64.rpm ./postgresql-server-8.4.20-3.el6_6.x86_64.rpm ./postgresql-libs-8.4.20-3.el6_6.x86_64.rpm ./postgresql-devel-8.4.20-3.el6_6.x86_64.rpm ./ambari-server-2.1.2-377.x86_64.rpm来进行离线安装!

[5] 配置AMBARI-SERVER

代码语言：javascript
复制
##指定JAVA_HOME
ambari-server setup -j /usr/java/default
##不指定JAVA_HOME执行
ambari-server setup

选择n会按默认配置 数据库类型：postgresql 数据库：ambari 用户名：ambari 密码：bigdata 等待安装完成

[6] 启动AMBARI-SERVER

代码语言：javascript
复制
##启动:
ambari-server start
##查看:
ps -ef | grep Ambari
##停止:
ambari-server stop
##帮助
ambari-server help

然后访问：http://T1.youyuan.cn:8080 不出意外的话就安装完成了 用户名/密码:admin/admin

[6] 安装AMBARI-AGENT

在网络环境不好的地方或者sshd的端口不是标准的22时,可以在每个agent节点上先手工安装AMBARI-AGENT

代码语言：javascript
复制
yum install ambari-agent

备注:

  • Ambari安装的环境路径: 各台机器的安装目录:
代码语言：javascript
复制
/usr/lib/hadoop
/usr/lib/hbase
/usr/lib/zookeeper
/usr/lib/hcatalog
/usr/lib/hive
  • Log路径, 这里需要看出错信息都可以在目录下找到相关的日志
代码语言：javascript
复制
/var/log/hadoop
/var/log/hbase
  • 配置文件的路径
代码语言：javascript
复制
/etc/hadoop
/etc/hbase
/etc/hive
  • HDFS的存储路径
代码语言：javascript
复制
/hadoop/hdfs

FAQ

  • 主机名格式必须是hoastname.domain,如T1.youyuan.cn
  • Zookeeper-Agent端修改Server指向的HOSTNAME, /etc/ambari-agent/conf/ambari-agent.ini,如修改过主机hostname
  • 安装失败后或重新安装先执行ambari-server reset 后 ambari-setup
  • 最后一步安装可能会失败,多数原因是下载包错误引起的,可重复安装直到成功,本人反复几个最终成功了,网络,网络,尤其就朝民,各种干扰!
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
ssh
node.js
hadoop
postgresql
yum

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ，欢迎热爱写作的你一起参与！

ssh
node.js
hadoop
postgresql
yum
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • (WJW)Ambari安装指南
    • [X] 安装环境:
      • [X] 安装Ambari Server
        • [1] 添加yum资源库:
        • [2] 校验YUM仓库ambari:
        • [3.1] YUM在线安装: ambari-server
        • [3.2] YUM离线本地安装: ambari-server
        • [5] 配置AMBARI-SERVER
        • [6] 启动AMBARI-SERVER
        • [6] 安装AMBARI-AGENT
      • 备注:
        • FAQ
        领券

        腾讯云开发者

        扫码关注腾讯云开发者

        扫码关注腾讯云开发者

        领取腾讯云代金券

        热门产品

        热门推荐

        更多推荐

        Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

        深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

        腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

        Copyright © 2013 - 2024 Tencent Cloud.

        All Rights Reserved. 腾讯云 版权所有

        登录 后参与评论