学习
实践
活动
工具
TVP
写文章

Ambari?自动部署Hadoop集群

Ambari AmbariHadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。 就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 如果你遇到了Ambari你就会发现,原来他就是你的救世主。 Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。 简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 我司项目都是直接下载的apache开源的hadoop相关源码,部分软件进行了自己的修改重新编译的。这是其一。其二就是ambari需要从repo源。

70130

使用Ambari安装hadoop集群

最近需要做些spark的工作,所以弄了几台dell7500就这么准备开始搭建集群,之前用过几台更破的台式机搭建过一次,折腾了半个月之久,终于成功搭建,这次不想走老路,所以网上查了一下,发现一个神器AMBARI ,可以部署、管理集群,果然是个好东西,所以就拿来用,但是在安装的过程中碰到了许许多多的问题,所以现在把安装过程总结一下,放到这里,以方便下次安装或者其他有对ambari感兴趣的同学可以参考之。       安装过程大量查阅了网上的相关资料,主要是https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public 安装集群主要分以下几步: 1、安装ambari(参考https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from B9733A7A07513CAD sudo apt-get update sudo apt-get install ambari-server sudo ambari-server setup sudo

75260
  • 广告
    关闭

    热门业务场景教学

    个人网站、项目部署、开发环境、游戏服务器、图床、渲染训练等免费搭建教程,多款云服务器20元起。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Hadoop集群监控工具Ambari安装

    Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。 Ambari支持管理的服务有: Apache HBase Apache HCatalog Apache Hadoop HDFS Apache Hive  Apache Hadoop MapReduce  Apache Oozie  Apache Pig  Apache Sqoop  Apache Templeton  Apache Zookeeper ambari可以使安装hadoop集群,管理hadoop 安装ambari前需要做的步骤 将需要安装的hadoop集群按照namenode,datanode进行划分,namenode节点作为ambari master节点,其他节点作为ambari slave /hmc/html/  地址开始安装hadoop 集群 安装集群需要ambari master 节点中root 用户的SSH Private Key File ,路径在/root/.ssh/id_rsa

    18310

    通过ambari安装hadoop集群(一)

    /centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 [ambari-1.2.5.17] name=ambari-1.2.5.17 * * * /usr/sbin/ntpdate us.pool.ntp.org | logger -t NTP  (5)修改/etc/hosts文件,所有机器,设置如下: 192.168.1.133 hadoop.Master 192.168.1.134 hadoop.SlaveT1 192.168.1.135 hadoop.SlaveT2 4.修改配置文件,所有机器 yum install yum-plugin-priorities 比如我的hadoop.SlaveT1上面挂了hive服务,mysql也在它上面就会连接不上 还需要运行以下命令 grant all on hive.* TO 'hive'@'hadoop.SlaveT1 ambari-server setup 我的ambari数据库账号密码全是ambari 安装完毕之后启动ambari服务 ambari-server start 登陆ambari,账号密码都是admin

    47190

    通过ambari安装hadoop集群(二)

    注意:ambari-server和ambari-agent不会开机启动,ambari-server是通过ambari-agent来控制每一台机器的,每次重启都需要手动开启。 没关系,很简单! chkconfig --add ambari-agent

    55960

    Hadoop集群监控工具Ambari安装

    Apache Ambari是对Hadoop进行监控、管理和生命周期管理的基于网页的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。 Ambari支持管理的服务有: Apache HBase Apache HCatalog Apache Hadoop HDFS Apache Hive Apache Hadoop MapReduce Apache Oozie Apache Pig Apache Sqoop Apache Templeton Apache Zookeeper ambari可以使安装hadoop集群,管理hadoop集群服务,监控集群都很容易 安装ambari前需要做的步骤 将需要安装的hadoop集群按照namenode,datanode进行划分,namenode节点作为ambari master节点,其他节点作为ambari slave。 /hmc/html/  地址开始安装hadoop 集群 安装集群需要ambari master 节点中root 用户的SSH Private Key File ,路径在/root/.ssh/id_rsa

    18220

    【流水】使用Ambari搭建Hadoop平台

    手动安装Hadoop的朋友都知道,这是一个痛苦的过程。一天时间,你能够把上千台机器全部安装完成么?包括Hive、Spark、Hbase等。 这当然要借助工具,国内用户安装Hadoop套件,习惯使用CM安装CDH,但这次,我们想尝试一下Hortonworks的Ambari来安装HDP。由于没有免费版收费版的区别,整个使用过程是非常流畅的。 http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.1.0/ambari.repo http://public-repo < /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql 安装jdbc驱动(驱动提前下载到/usr/share/java) ambari-server ambari-server start 在线配置 访问http://ip:8080端口,即可进入ambari后台 给集群起个名字 ?

    90320

    Ambari2.6安装部署Hadoop2.7

    Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。 之所以选择Ambari部署hadoop而不是CDH,是因为CDH最新版本只支持Hadoop2.6.X,Ambari最新版本支持Hadoop2.7.3。 、selinux 3、安装ambari-server 4、设置ambari-server 5、图形界面部署hadoop各组件 ? /releases/download/v1.2/ambari-presto-1.2.tar.gz [root@prod-hadoop-master-01 ~]# tar zxvf ambari-presto -1.2/README.md ambari-presto-1.2/metainfo.xml ambari-presto-1.2/requirements.txt [root@prod-hadoop-master

    85820

    CentOS 6.5下使用Ambari安装Hadoop集群

    上篇讲了CentOS 6.5下安装Ambari的过程(见 http://www.linuxidc.com/Linux/2014-12/110823.htm ),本人将安装Ambari的主机名改为ambari 输入网址ambari:8080,这里ambari是lz的主机名,各位改成自己的即可。 进入登录界面,默认用户名和密码均为admin,可以在系统里进行修改,安装ambari的过程中也有提示。 2.进入系统后给集群取名,选择要安装的ambari版本和使用的系统平台。这里lz使用1.3.3,CentOS6。 Ambari自动在目标节点安装Ambari agent,然后进行注册,这里可能比较慢,而且会出错,多试几次就好了,若一直出错,就要查看出错原因了。 5. 2.0以下版本中的选项和途中稍有不同,其中YARN是Hadoop2.0中才有的, 但即便如此,还是不推荐选择2.0版本),但HDFS,MapReduce,Nagios和Ganglia必选,后两项用于监控

    10820

    Ambari在离线环境中安装Hadoop集群 顶

    (WJW)Ambari在离线环境中安装Hadoop集群 如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下: 各集群节点的配置同步 新应用的部署:比如为集群添加 就 Ambari 的作用来说,就是创建,管理,监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具. 说到这里,大家就应该明白什么人最需要 Ambari 了.那些苦苦花费好几天去安装,调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的. 生产中的hadoop集群机器都很多,而且基本都不允许连接公网,为方便快速部署,非常有必要建立一个本地Repository,使Ambari在离线环境中安装Hadoop集群!

    90750

    RHEL6.5上使用Ambari快速搭建Hadoop集群

    RHEL6.5上使用Ambari快速搭建Hadoop集群 ip hostname 10.7.1.1 master.coke 10.7.1.2 dn1.coke 10.7.1.3 dn2.coke ssh master.coke 生成pub key  作为中控机,添加到每台机器包括master.coke 的  /root/.ssh/authorized_keys 2,hostname 对照表格更改hadoop /ambari/CentOS6/1.x/updates/1.7.0/ambari.repo yum install ambari-server yum install MySQL-server mysql 提前建立库和授权 mysql>grant all on ambari.* to ‘ambari’@’localhost‘ identified by “175an.com”;  mysql> flush 导入数据库 mysql ambari -u175an -p < /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql grant

    11020

    Ambari方式安装Hadoop的Hive组件遇到的问题

    最近在部署Hadoop,我发现了ambari工具部署hadoop的hive 组件的一个问题,不知道其他人遇到过没有。 问题描述:通过ambari工具搭建了hadoop2.0完全分布式集群。 mysql> 于是检查hive的配置,在ambari管理页面,如下,hive的配置项中输入了正确的密码。重启hive服务后测试依然会报错。 SLF4J: Found binding in [jar:file:/usr/lib/hadoop/lib/slf4j-log4j12-1.7.5.jar! hdfs://hda1.yc.com:8020/apps/hive/warehouse 但是在通过ambari管理界面重启hive服务后又会重新自动给你去掉了。 不知道这是我哪里的配置不对还是ambari的bug问题。

    23520

    Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5)

    Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5) 1.0 监控ResourceManager进程Java虚拟机中堆空间的特定部分。 Apache Ambari集中式的管理一个Hadoop集群,使用Ambari,管理员可以配置集群的服务,监控服务节点的状态,利用服务的监控指标实现热点可视化,开启或暂停服务,以及向集群添加新节点。

    91670

    Ambari安装Hadoop3遇到的一些新坑

    Ambari安装Hadoop3遇到的一些新坑 以前使用HDP安装Hadoop集群安装了很多遍,本以为整个过程早已经烂熟于心,没想到这次安装过程还是遇到了新的坑,这里记录一下,分享给读者,以便不时之需。 Ambari自动生成的repo里源的url地址为空 表现出的现象为Ambari到了安装组件那一步一直过不去,前台报错日志提示ambari和hdp的repo url都为null,无有效的repo,图忘记截了 造成这个现象的原因可能是但是建ambari数据库的时候权限没有赋对,导致ambari用户没有权限往数据库里面写内容。 2. 现在ambari停留在开启NN HA的界面,无法从前台去启停服务。 启动namenode提示:WARN org.apache.hadoop.hdfs.server.common.Util: Path /data01/hadoop/namenode should be specified

    22810

    Ambari on Docker

    下载 Ambari on Docker 1.从GitHub上下载ambari文件到本地,https://github.com/sequenceiq/docker-ambari 2.unzip docker-ambari-master .zip 到/opt目录下; unzip docker-ambari-master .zip 加载环境 3.进入cd /opt/docker-ambari-master,看到有 ambari-functions 文件夹,执行: source ambari-functions #将命令加载到环境中。 3 运行脚本开始下载和启动资源 6.安装结束后查询docker容器可以看到正在运行的4个集群: [root@Hadoop opt]# docker ps CONTAINER ID IMAGE =172.17.0.5 9.用浏览器登陆ambari:http://172.17.0.5:8080,可以看到已经安装成功,接下来可以配置使用集群了

    35170

    Ambari实战-5:构建Ambari私有源

    基本环境信息 --- 由于是通过Ambari数据源安装ambari,我们只需要在一台机器上运行即可,我们这里部署到了和ambari-common(该节点压力较小)节点在一起。 主机名 IP 版本 ambari-common 10.10.0.201 CentOS 7 Ambari数据源配置 --- 登录到ambari-common节点中 ssh ambari-common - 不是0 ambari的官方源的格式为ambari/<OsVersion>/<AmbariVersionRegex>/updates/<AmbariVersion>/ambari.repo 如果我们需要安装其他系统的或者其他版本的源只需要修改 <OsVersion>和<AmbariVersionRegex>(ambari大版本),<AmbariVersion>(ambari绝对版本) 需要注意的是/etc/yum.repos.d/ambari.repo 源标识 Updates-ambari-2.2.2.0 这标志着我们的ambari安装源配置文件是可用的。

    26200

    Ambari实战-1:Ambari使用场景及介绍

    --- Apache Ambari是一种基于Web的集群管理工具,支持Apache Hadoop的供应,管理和监控。 --- AmbariHadoop等开源软件一样,也是Apache Software Foundation组织中的一个项目,并且是顶级项目。 就Ambari的作用来说,就是创建,管理,监控Hadoop集群,但是这里的Hadoop是广义的,指的是Hadoop整个生态圈(例如Hive,HBase,Sqoop,Zookeeper等),而并不是特指Hadoop 用一句话来说,Ambari就是为了让Hadoop及相关的大数据组件更容易使用的一个工具。 Ambari的业绩 --- 通过一步一步的安装向导简化了集群供应。 Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop安全的支持,提供了基于角色的用户认证,授权和审计功能,并为用户管理集成了LDAP和Active Directory

    63590

    安装 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop集群(CentOS7)简明版

    localhost localhost.localdomain localhost6 localhost6.localdomain6 172.16.243.146 db_server_01 db_server_01.hadoop 172.16.243.147 db_server_02 db_server_02.hadoop 172.16.243.148 db_server_03 db_server_03.hadoop 每台节点里配置全限定域名 (FQDN) 第1台: vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=db_server_01.hadoop 第2台: vi /etc/sysconfig /network NETWORKING=yes HOSTNAME=db_server_02.hadoop 第3台: vi /etc/sysconfig/network NETWORKING=yes HOSTNAME =db_server_03.hadoop 配置SSH免密码登录 1、在主节点(第1台)执行 ssh-keygen cd ~/.ssh/ cat id_rsa.pub >>authorized_keys

    23230

    Ambari 2.7.3.0 安装部署 hadoop 3.1.0.0 集群完整版,附带移除 SmartSense 服务

    ON *.* TO 'ambari'@'localhost'; CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari'; # 这个用户,在后续安装ambari [ambari] name=ambari baseurl=http://node1.ambari.com/ambari/centos7/2.7.3.0-139 enabled=1 gpgcheck=0 在之后部署 hadoop 集群的时候,我们会在 ambari 界面上设置 hdp 安装包的 yum 离线源,ambari 会在各 ambari-agent 节点上自动生成 ambari-hdp-1.repo 十、通过 ambari 部署 hadoop 集群 主要说一下关键步骤。 1、Select Version 这一步,挺重要。首选,我们要选择安装的 hdp 版本。 3、Choose Services 在这一步,就可以选择 hadoop 相关的一些服务了。

    2.2K20

    扫码关注腾讯云开发者

    领取腾讯云代金券