关于CDH集群配置文件目录的问题

原创

Bob hadoop

修改于 2021-03-25 17:58:10

1.8K0

修改于 2021-03-25 17:58:10

文章被收录于专栏：日常杂记

写这篇文章的目的是记录下今天办的蠢事，公司业务需求需要扩容集群，新增100多台机器，这批机器之前有装过cdh所以在扩集群之前药清理一些不必要的文件。

1、清理数据盘

直接rm -rf 数据盘挂载目录即可。

2、清理日志

主要都在/var/log/下的一些Hadoop组件的日志。

3、清理程序

主要之前安装的程序都在/opt下。

4、清理配置文件

这就要说明一下了

基础配置文件路径

[root@whx lib]# pwd
/opt/cloudera/parcels/CDH/lib
[root@whx lib]# ls
avro           hadoop                 hadoop-yarn    impala        oozie    spark
bigtop-tomcat  hadoop-0.20-mapreduce  hbase          impala-shell  parquet  sqoop
bigtop-utils   hadoop-hdfs            hbase-solr     kite          pig      sqoop2
crunch         hadoop-httpfs          hive           kudu          search   whirr
debug          hadoop-kms             hive-hcatalog  llama         sentry   zookeeper
flume-ng       hadoop-mapreduce       hue            mahout        solr     zookeeper-native

配置文件路径依赖关系（以hadoop的配置文件为例，其他通过CDH安装的组件也类似在基础路径（/opt/cloudera/parcels/CDH/lib）下找对应服务的配置文件即可）

[root@whx ~]# ll /opt/cloudera/parcels/
total 0
lrwxrwxrwx  1 root root  27 Jul 24 17:50 CDH -> CDH-5.16.2-1.cdh5.16.2.p0.8
[root@whx ~]# ll /opt/cloudera/parcels/CDH/lib/hadoop/etc/
total 0
lrwxrwxrwx 1 root root 16 Jun  3  2019 hadoop -> /etc/hadoop/conf
[root@whx ~]# ll /etc/hadoop/conf
lrwxrwxrwx 1 root root 29 Jul 24 17:50 /etc/hadoop/conf -> /etc/alternatives/hadoop-conf
[root@whx ~]# ll /etc/alternatives/hadoop-conf
lrwxrwxrwx 1 root root 30 Jul 24 17:50 /etc/alternatives/hadoop-conf -> /etc/hadoop/conf.cloudera.yarn
[root@whx ~]# ll /etc/hadoop/conf.cloudera.yarn
total 48
-rw-r--r-- 1 root root     21 Jun 19 15:43 __cloudera_generation__
-rw-r--r-- 1 root root     66 Jun 19 15:43 __cloudera_metadata__
-rw-r--r-- 1 root root   3851 Jun 19 15:43 core-site.xml
-rw-r--r-- 1 root root    617 Jun 19 15:43 hadoop-env.sh
-rw-r--r-- 1 root root   3659 Jun 19 15:43 hdfs-site.xml
-rw-r--r-- 1 root root    314 Jun 19 15:43 log4j.properties
-rw-r--r-- 1 root root   5193 Jun 19 15:43 mapred-site.xml
-rw-r--r-- 1 root root    315 Jun 19 15:43 ssl-client.xml
-rw-r--r-- 1 root hadoop  356 Jul 24 18:56 topology.map
-rwxr-xr-x 1 root hadoop 1594 Jul 24 18:56 topology.py
-rw-r--r-- 1 root root   3650 Jul 17 13:39 yarn-site.xml

注意使用 ll 命令时，如果非软连接文件，显示文件内容，如果是软连接文件，会显示软连接关系，但末尾有 / 时，显示文件内容

[root@whx ~]# ll /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop
l
rwxrwxrwx 1 root root 16 Jun  3  2019 /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop -> /etc/hadoop/conf
[root@whx ~]# ll /opt/cloudera/parcels/CDH/lib/hadoop/etc/hadoop/
total 48
-rw-r--r-- 1 root root     21 Jun 19 15:43 __cloudera_generation__
-rw-r--r-- 1 root root     66 Jun 19 15:43 __cloudera_metadata__
-rw-r--r-- 1 root root   3851 Jun 19 15:43 core-site.xml
-rw-r--r-- 1 root root    617 Jun 19 15:43 hadoop-env.sh
-rw-r--r-- 1 root root   3659 Jun 19 15:43 hdfs-site.xml
-rw-r--r-- 1 root root    314 Jun 19 15:43 log4j.properties
-rw-r--r-- 1 root root   5193 Jun 19 15:43 mapred-site.xml
-rw-r--r-- 1 root root    315 Jun 19 15:43 ssl-client.xml
-rw-r--r-- 1 root hadoop  356 Jul 24 18:56 topology.map
-rwxr-xr-x 1 root hadoop 1594 Jul 24 18:56 topology.py
-rw-r--r-- 1 root root   3650 Jul 17 13:39 yarn-site.xml
[root@whx ~]# ll /etc/hadoop/conf.cloudera.yarn
total 48
-rw-r--r-- 1 root root     21 Jun 19 15:43 __cloudera_generation__
-rw-r--r-- 1 root root     66 Jun 19 15:43 __cloudera_metadata__
-rw-r--r-- 1 root root   3851 Jun 19 15:43 core-site.xml
-rw-r--r-- 1 root root    617 Jun 19 15:43 hadoop-env.sh
-rw-r--r-- 1 root root   3659 Jun 19 15:43 hdfs-site.xml
-rw-r--r-- 1 root root    314 Jun 19 15:43 log4j.properties
-rw-r--r-- 1 root root   5193 Jun 19 15:43 mapred-site.xml
-rw-r--r-- 1 root root    315 Jun 19 15:43 ssl-client.xml
-rw-r--r-- 1 root hadoop  356 Jul 24 18:56 topology.map
-rwxr-xr-x 1 root hadoop 1594 Jul 24 18:56 topology.py
-rw-r--r-- 1 root root   3650 Jul 17 13:39 yarn-site.xml

然后就是这个/etc/alternatives/目录我当时清理的时候命令少打了一个/就导致这个目录没了，Cloudera在启动yarn的node manager时无法创建软连接，我排查了一中午的时间！！！！！！

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

专用宿主机