专栏首页流川疯编写程序的艺术CDH 5.x 集群安装及卸载

CDH 5.x 集群安装及卸载

上次写了CDH安装测试总结,由于那个博客篇幅略长, 但是主要集中在第二章,所以单独把CDH安装、卸载这块的内容拉出来在一篇记录一下。

一.搭建远程yum源

1.启动http服务:

service httpd start

2.挂载镜像文件rhel6.6.iso到/var/www/html下的任意文件夹

mount -o loop /RHEL-6.6Server.iso /var/www/html/rhel66

3.cd 到/etc/yum.repos.d 目录下,先把已有的repo做备份,并建立以”.repo”结尾的文件,这里我建立的是rhel66.repo,内容如下:

[rhel66] name=rhel66 baseurl=http://serverIP/rhel66 enabled=1 gpgcheck = 0 #gpgkey = http://yourIP/rhel65/RPM-GPG-KEY-redhat-release

4.配置完成后用命令:

yum clean all 进行刷新 yum makecache

5.输入yum install httpd,打开浏览器,输入ip/rhel66 验证是否成功

二.准备CDH安装包

1.开启apache服务:

service httpd start

2.将已有的cloudera安装包和文件

CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel, CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1, manifest.json移到/var/www/html目录下,权限均为777,用户为root。

三. 安装cloudera

  1. 将cloudera-manager-installer.bin文件修改成可执行权限,在/var/www/html里执行cloudera-manager-installer.bin文件,开始安装
  2. 登录网址: ip:7180,用户,密码为admin
  3. 填写主机名
  1. 集群存储库,使用parcel,选择更多选项,将其中https改为http,多余url删除,只保留第一个,{latest_support}删除
  1. 选择自定义存储库,将示例的网址复制粘贴,把https改为http
  1. 点击安装Oracle Java SE开发工具包(JDK),点击继续按钮
  1. 输入所有主机的root密码,确定后点击继续
  1. 自定义选择安装的服务

安装其他内容,不详细的请参考上一篇: CDH安装测试总结

四.卸载CDH

CDH5.X,完全卸载步骤步骤如下:

1.关闭集群中的所有服务。

通过clouder manger 主页关闭集群。

2.卸载

[root@master ~]# /usr/share/cmf/uninstall-cloudera-manager.sh [root@slave1 ~]# service cloudera-scm-agent stop [root@slave1 ~]# service cloudera-scm-agent stop

以下都是所有要卸载的集群均要执行清除工作:

[root@master ~]# umount /var/run/cloudera-scm-agent/process [root@slave1 ~]# umount /var/run/cloudera-scm-agent/process [root@slave2 ~]# umount /var/run/cloudera-scm-agent/process [root@master ~]# rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera* /etc/cloudera*

3.卸载安装包:

[root@slave1 ~]# rpm -qa | grep cloudera [root@slave2 ~]# for f in `rpm -qa | grep cloudera ` ; do rpm -e ${f} ; done

(如果有保存,在执行一遍)

4.清除安装文件

shell 脚本如下:这一行很长,请复制全 rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie /var/lib/pgsql /var/lib/sqoop2 /data/dfs/ /data/impala/ /data/yarn/ /dfs/ /impala/ /yarn/ /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalog

//只删除hadoop系列的,不要删除其他软件的,否则其他软件的版本控制会被破坏

[root@master alternatives]# rm -rf ` find /var/lib/alternatives/* ! -name “mta” ! -name “print” ! -name “zlibrary-ui” -mtime -3` [root@master alternatives]# rm -rf /etc/alternatives/*

5.杀死相关进程

for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done

6.删除parcel包分发文件和解压文件

rm -rf /opt/cloudera/parcel-cache /opt/cloudera/parcels

到此卸载完毕。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CDH集群安装&测试总结

    之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的:

    用户1539362
  • leetcode 102 Binary Tree Level Order Traversal

    Given a binary tree, return the level order traversal of its nodes' values. (ie,...

    用户1539362
  • leetcode 70 Climbing Stairs

    You are climbing a stair case. It takes n steps to reach to the top.

    用户1539362
  • 客户端基本不用的算法系列:矩阵快速幂

    我们换一个角度来想,如果有这么一种东西,它也支持乘法和幂运算,同样也拥有像数的乘法一样的规律,是不是也可以进行快速幂的优化?

    用户2932962
  • 挑战程序竞赛系列(43):4.1矩阵 高斯消元

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    用户1147447
  • 深入理解HTTP

    TCP协议是位于TCP/IP参考模型中的网络互连层,而HTTP协议属于应用层。因此,HTTP协议是基于TCP协议。

    猴哥yuri
  • CRLF注入(响应截断)挖掘技巧及实战案例全汇总

    CRLF是CR和LF两个字符的拼接,它们分别代表”回车+换行”(\r\n)“,全称为Carriage Return/Line Feed”,十六进制编码分别为0...

    Jayway
  • 二维数组的查找

    题目:在一个二维数组中,每一行都按照从左到右递增的顺序排序,每一列都按照从上到下递增的顺序排序。请完成一个函数,输入这样的一个二维数组和一个整数,判断数组中是否...

    猿人谷
  • Java-回调/Callback

    版权声明: ...

    Fisherman渔夫
  • 牛牛的数列

    牛牛现在有一个n个数组成的数列,牛牛现在想取一个连续的子序列,并且这个子序列还必须得满足:最多只改变一个数,就可以使得这个连续的子序列是一个严格上升的子序列,牛...

    AI那点小事

扫码关注云+社区

领取腾讯云代金券