ambari离线安装hadoop_ambari hadoop_离线安装hadoop cdh - 腾讯云开发者社区

(WJW)Ambari在离线环境中安装Hadoop集群如果手工安装Hadoop集群,在管理和后继部署中，越来越多的问题不断出现，主要如下：各集群节点的配置同步新应用的部署：比如为集群添加...就 Ambari 的作用来说,就是创建,管理,监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper...说到这里,大家就应该明白什么人最需要 Ambari 了.那些苦苦花费好几天去安装,调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的....生产中的hadoop集群机器都很多,而且基本都不允许连接公网,为方便快速部署,非常有必要建立一个本地Repository,使Ambari在离线环境中安装Hadoop集群!...Ambari安装的环境路径: 各台机器的安装目录: /usr/lib/hadoop /usr/lib/hbase /usr/lib/zookeeper /usr/lib/hcatalog /usr/lib

1.5K5 0

Ambari离线安装大数据集群

Ambari 离线安装大数据集群 Ambari 系列搭建集群的教程。小编带你一步步躺坑，带你完全从小白系列搭建一套属于自己的大数据集群。...hostnamectl set-hostname Node1.hadoop hostnamectl set-hostname Node2.hadoop # 修改文件 vi /etc/hosts 192.168.6.5...Master.hadoop 192.168.6.6 Node1.hadoop 192.168.6.8 Node2.hadoop 1.4 免密登录 # 生成密钥 ssh-keygen # 免密配置...ssh-copy-id -i /root/.ssh/id_rsa.pub Master.hadoop ssh-copy-id -i /root/.ssh/id_rsa.pub Node1.hadoop...Mysql驱动 # 也可以自己下载配置启动的时候带上 yum install mysql-connector-java 2.7 安装Amabri服务 # 安装ambari服务 yum install

2.2K4 2

您找到你想要的搜索结果了吗？

是的

没有找到

使用Ambari安装hadoop集群

，可以部署、管理集群，果然是个好东西，所以就拿来用，但是在安装的过程中碰到了许许多多的问题，所以现在把安装过程总结一下，放到这里，以方便下次安装或者其他有对ambari感兴趣的同学可以参考之。 ...安装过程大量查阅了网上的相关资料，主要是https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from+Public...-20151221.pdf，大家也可以直接参考这两篇文章来进行安装，其余的一些细节我直接写在本文里。　　...安装Ubuntu服务器，在这里就不做说明了，目前比较合适的版本应该是14.04，可以直接在官网上下载然后用u盘做个启动盘，直接安装即可。　　...安装集群主要分以下几步： 1、安装ambari（参考https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.2.0+from

1.3K6 0

Hadoop集群监控工具Ambari安装

Ambari支持管理的服务有： Apache HBase Apache HCatalog Apache Hadoop HDFS Apache Hive Apache Hadoop MapReduce... Apache Oozie Apache Pig Apache Sqoop Apache Templeton Apache Zookeeper ambari可以使安装hadoop集群，管理hadoop...安装ambari前需要做的步骤将需要安装的hadoop集群按照namenode,datanode进行划分，namenode节点作为ambari master节点，其他节点作为ambari slave....noarch.rpm 在其他的slave节点安装 $ sudo rpm -Uvh ambari-agent-1.0.0-1.noarch.rpm 因为hadoop需要jdk环境运行，所以需要到 http.../hmc/html/ 地址开始安装hadoop 集群安装集群需要ambari master 节点中root 用户的SSH Private Key File ，路径在/root/.ssh/id_rsa

8891 0

通过ambari安装hadoop集群（二）

开始安装，输入主机名字，然后选择私钥注意java_home那里需要改为/usr/jdk64/jdk1.6.0_31，然后点击确认，它会出一个警告提示，别管他就行。...等待安装完毕之后，就会出现成功的提示，下面出现黄字的，查看一下warning，除了有mysql账户的问题之外，别的都要处理掉，否则安装过程会出问题的。搞定了，要再检查一遍！关闭它，然后进入下一步。...在HIVE页签点击下一步，下一步，进入安装过程的等待界面，如下：成功安装的界面，之后在主界面查看如下，全是绿的，行情一片大好啊！...注意：ambari-server和ambari-agent不会开机启动，ambari-server是通过ambari-agent来控制每一台机器的，每次重启都需要手动开启。没关系，很简单！...chkconfig --add ambari-agent

9356 0

通过ambari安装hadoop集群（一）

/centos6/ambari-1.2.5.17-centos6.tar.gz 2.建立本地资源库在var/www/html下建立一个hdp目录，如果没有的请先安装httpd yum install...192.168.1.134 hadoop.SlaveT1 192.168.1.135 hadoop.SlaveT2 4.修改配置文件,所有机器 yum install yum-plugin-priorities...比如我的hadoop.SlaveT1上面挂了hive服务，mysql也在它上面就会连接不上还需要运行以下命令 grant all on hive.* TO 'hive'@'hadoop.SlaveT1...' IDENTIFIED BY 'hive'; 5.安装ambari服务 yum install -y epel-release yum install ambari-server //自己下载jdk...ambari-server setup 我的ambari数据库账号密码全是ambari 安装完毕之后启动ambari服务 ambari-server start 登陆ambari，账号密码都是admin

8379 0

Hadoop集群监控工具Ambari安装

Oozie Apache Pig Apache Sqoop Apache Templeton Apache Zookeeper ambari可以使安装hadoop集群，管理hadoop集群服务，监控集群都很容易...安装ambari前需要做的步骤将需要安装的hadoop集群按照namenode,datanode进行划分，namenode节点作为ambari master节点，其他节点作为ambari slave。....noarch.rpm在其他的slave节点安装 $ sudo rpm -Uvh ambari-agent-1.0.0-1.noarch.rpm 因为hadoop需要jdk环境运行，所以需要到 http.../hmc/html/ 地址开始安装hadoop 集群安装集群需要ambari master 节点中root 用户的SSH Private Key File ，路径在/root/.ssh/id_rsa...然后将所需要安装的slaves 节点所有hostname 每行一个进行分割存为文件在页面中都选择好文件后，即可进行安装，在安装服务的过程中需要等一段时间，因为所需要的hadoop 都是通过yum 进行下载安装

7882 0

Ambari2.6安装部署Hadoop2.7

Ambari能够安装安全的（基于Kerberos）Hadoop集群，以此实现了对Hadoop 安全的支持，提供了基于角色的用户认证、授权和审计功能，并为用户管理集成了LDAP和Active Directory...、selinux 3、安装ambari-server 4、设置ambari-server 5、图形界面部署hadoop各组件 ?...3、安装服务也可添加后再安装 ? 4、配置默认即可 ? 5、确认下没有变更就开始部署 ? 6、安装进度完成即可，也可以登陆首页等待后续安装完成 ?...三、补充Ambari没有集成组件安装： 1、解决ambari-service、ambari-agent默认安装数据目录在/下 ambari-agent stop mv /var/lib/ambari-agent.../* [root@prod-hadoop-master-01 services]# ambari-server restart 平台上添加presto服务器，一个控制节点，两个worker节点 3、安装

1.4K2 0

CentOS 6.5下使用Ambari安装Hadoop集群

上篇讲了CentOS 6.5下安装Ambari的过程（见 http://www.linuxidc.com/Linux/2014-12/110823.htm ），本人将安装Ambari的主机名改为ambari...输入网址ambari：8080，这里ambari是lz的主机名，各位改成自己的即可。进入登录界面，默认用户名和密码均为admin，可以在系统里进行修改，安装ambari的过程中也有提示。...2.进入系统后给集群取名，选择要安装的ambari版本和使用的系统平台。这里lz使用1.3.3，CentOS6。...Ambari自动在目标节点安装Ambari agent，然后进行注册，这里可能比较慢，而且会出错，多试几次就好了，若一直出错，就要查看出错原因了。 5....2.0以下版本中的选项和途中稍有不同，其中YARN是Hadoop2.0中才有的，但即便如此，还是不推荐选择2.0版本），但HDFS，MapReduce，Nagios和Ganglia必选，后两项用于监控

4332 0

Ambari？自动部署Hadoop集群

Ambari Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。...就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Sqoop，Zookeeper...简单来说，用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件；Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server，最终这些状态信息会呈现在...那我们脚本所做的工作其实跟上篇文章所做的工作差不多，首先需要配置免密，安装JDK，安装程序，配置等等。...举一下hadoop安装的例子，脚本首先会根据上面的集群配置生成对应的配置文件： def set_hdfs_site(): hdfs_site = os.path.join(TMP_DIR

1.1K3 0

Ambari方式安装Hadoop的Hive组件遇到的问题

最近在部署Hadoop，我发现了ambari工具部署hadoop的hive 组件的一个问题，不知道其他人遇到过没有。问题描述：通过ambari工具搭建了hadoop2.0完全分布式集群。...而且我在安装之前是在mysql中对hive用户做过授权的。...mysql> 于是检查hive的配置，在ambari管理页面，如下，hive的配置项中输入了正确的密码。重启hive服务后测试依然会报错。...SLF4J: Found binding in [jar:file:/usr/lib/hadoop/lib/slf4j-log4j12-1.7.5.jar!...不知道这是我哪里的配置不对还是ambari的bug问题。

7532 0

ambari安装

为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD) vi /etc/hosts 172.xx.x.xx centos1 centos1.hadoop...172.xx.x.xx centos2 centos2.hadoop 172.xx.x.xx centos3 centos3.hadoop 每台节点里配置FQDN，如下以主节点为例 vi /etc/sysconfig.../network NETWORKING=yes HOSTNAME=centos1.hadoop 2.5 关闭防火墙所有节点都要设置 Centos 7 命令 systemctl disable firewalld...Mysql数据 Ambari安装会将安装等信息写入数据库，建议使用自己安装的MySQL数据库，也可以不安装而使用默认数据库PostgreSQL库 Centos 7.2 安装 Mysql 5.7.13 1...mysql jdbc 驱动 yum install mysql-connector-java 3.5 安装JDK(略看以前文档) 4.进行安装Ambari 4.1 安装Ambari2.2.2 4.1.1

3412 0

Ambari+HDP 部署Hadoop 集群

制作本地源(Ambari节点上即可) 2.1 安装Apache HTTP服务器 (1) 安装http服务器 yum install... yum install yum-utils createrepo -y 2.3 安装httpd网站 (1) 创建Ambari及HDP-UTILS...安装Mysql Ambari安装会将安装等信息写入数据库，建议使用自己安装的Mysql数据库，也可以不安装而使用默认数据库PostgreSQL (1) MySql 安装...安装Ambari (1) 安装ambari服务 yum install -y ambari-server (2) 执行安装 ... 2.7 配置Slaves和Clients节点 2.8 用户服务配置 2.9 配置信息确认 2.10 安装注意：安装Ambari-agent

1421 0

【流水】使用Ambari搭建Hadoop平台

手动安装Hadoop的朋友都知道，这是一个痛苦的过程。一天时间，你能够把上千台机器全部安装完成么？包括Hive、Spark、Hbase等。...这当然要借助工具，国内用户安装Hadoop套件，习惯使用CM安装CDH，但这次，我们想尝试一下Hortonworks的Ambari来安装HDP。由于没有免费版收费版的区别，整个使用过程是非常流畅的。...ambari-server yum install ambari-server -y ambari-server setup 安装基础依赖安装jdk，每个节点执行 yum install java-1.8.0...安装jdbc驱动（驱动提前下载到/usr/share/java) ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar...开始安装由于采用的是本地镜像，无需下载，所以速度非常快。 ? 安装完成安装完成后即可进入主界面 ?

1.4K2 0

Ambari安装Hadoop3遇到的一些新坑

Ambari安装Hadoop3遇到的一些新坑以前使用HDP安装Hadoop集群安装了很多遍，本以为整个过程早已经烂熟于心，没想到这次安装过程还是遇到了新的坑，这里记录一下，分享给读者，以便不时之需。...Ambari自动生成的repo里源的url地址为空表现出的现象为Ambari到了安装组件那一步一直过不去，前台报错日志提示ambari和hdp的repo url都为null，无有效的repo，图忘记截了...造成这个现象的原因可能是但是建ambari数据库的时候权限没有赋对，导致ambari用户没有权限往数据库里面写内容。 2....到了Step9安装Hadoop软件节点，前台提示操作系统存在多个版本的相同软件报错类似于 Error: Protected multilib versions: elfutils-libelf-devel...yum install -y hadoop_3_1_0_0_78-yarn 将该失败过程复制下来在对应的失败的主机上运行一下，看看是具体报什么错（可以直接在后台运行，即使安装成功了也不会影响后续前台的安装

8041 0

ambari安装指南

比较好的办法是自己创建的账户，使用ambari安装组件时选择自定义账户即可(UID >= 1000)。...8、Enable NTP on the Cluster and on the Browser Host 集群各节点，包括安装ambari webui的机器都得开启ntp服务已同步时间，如果有条件，局域网应该有...和hdp的仓库，然后在准备安装ambari-server的机器上去下载本地仓库的配置文件) 1、Obtain the repositories(获取存储库) a、Ambari Repositories...repositoryconfiguration file(在要安装ambari-server的机器上配置Ambari repository的yum源) 注意：只需要在ambari-server上配置ambari.repo...the Ambari Repo 检查仓库是否可用: yum repolist 安装: sudo yum install ambari-server （四）Set Up the Ambari Server

1.5K8 0

平台安装--ambari安装

Ambari 安装/配置修改repo配置文件 1-1）、修改ambari.repo 配置文件 # vi ambari.repo #VERSION_NUMBER=2.5.2.0-298 [ambari-...安装环境配置 1-1）、ambari-server 安装 # yum install ambari-server 1-2）、在其他机器上安装客户端 # sh cmd.sh npp "yum install...7）、图形化安装 A）、登录ambari界面 ?...选择各服务 master组件安装的节点，一般都放在管理节点上面选择各服务 slaves和client 服务安装的节点，一般安装在数据节点上面 F）、配置服务 ? G）、查看安装后的状态 ?...rm -rf /usr/lib/ambari-metrics-collector rm -rf /var/lib/ambari-metrics-collector rm -rf /hadoop/yarn

3.7K3 1

Ambari安装指南顶

(WJW)Ambari安装指南 Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是...说到这里,大家就应该明白什么人最需要 Ambari 了.那些苦苦花费好几天去安装,调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的....[3.2] YUM离线本地安装: ambari-server 先找一个网络好的环境,配置/etc/yum.conf文件,修改keepcache为1,来保留安装包;再通过yum install ambari-server...安装成功后后;把相关的rpm文件复制到需要离线安装的环境上;例如: ambari-server-2.1.2-377.x86_64.rpm ambari-agent-2.1.2-377.x86_64.rpm.../ambari-server-2.1.2-377.x86_64.rpm来进行离线安装!

1.5K3 0

安装Ambari和HDP

1、安装包准备链接如下： http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.1.5/ambari-2.6.1.5-...本次Ambari环境基于三台2核8G的EC2服务器，操作系统为Centos7.6，三台主机如下和安装Cloudera Manager、CDH类似，首先需要修改三台主机的网络设置、禁用SElinux、修改主机名...、关闭防火墙、ssh免密、开启http服务、设置时钟同步、安装JDK，在此不作详细介绍，具体可以参考之前安装CDH7.1.1的文章。...，创建本地yum源，开始安装ambari 将ambari、HDP 、HDP-GPL 、HDP-UTILS包解压至 /var/www/html目录下将各个目录最底层的repo文件移动至 /etc/yum.repo...ambari-server # 安装 yum install -y ambari-server # 配置 ambari-server setup 大都是常规的配置，其中提示输入 JAVA_HOME和 ambari

3.1K3 3

Ambari2.7.1安装

的安装源是否可用，如不可用请自行修改配置文件（/etc/yum.repos.d/mysql-community.repo）使mysql57下面的enable=1# 若有mysql其它版本的安装源可用，也请自行修改配置文件使其...安装httpd和wget服务 # 安装httpdyum -y install httpd.x86_64systemctl enable httpd.servicesystemctl start httpd.service...# 安装wgetyum -y install wget 2....九、在主节点安装ambari-server 1. 安装 yum -y install ambari-server 2....安装ambari-server ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

1.8K2 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

Ambari在离线环境中安装Hadoop集群顶

Ambari离线安装大数据集群

使用Ambari安装hadoop集群

Hadoop集群监控工具Ambari安装

通过ambari安装hadoop集群（二）

通过ambari安装hadoop集群（一）

Hadoop集群监控工具Ambari安装

Ambari2.6安装部署Hadoop2.7

CentOS 6.5下使用Ambari安装Hadoop集群

Ambari？自动部署Hadoop集群

Ambari方式安装Hadoop的Hive组件遇到的问题

ambari安装

Ambari+HDP 部署Hadoop 集群

【流水】使用Ambari搭建Hadoop平台

Ambari安装Hadoop3遇到的一些新坑

ambari安装指南

平台安装--ambari安装

Ambari安装指南顶

安装Ambari和HDP

Ambari2.7.1安装

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐