CM部署客户端配置失败异常分析

1.异常描述


在Cloudera Manager修改了服务的客户端配置后,执行部署客户配置报如下异常:

无法成功的部署客户端配置到相应的节点上,在有些时候界面看不到任何异常信息,导致很难定位问题。

2.异常分析及处理


1.由于没有日志信息,不好根据异常分析问题,那我们分析部署成功的日志信息是怎么样的,下面以部署Hive客户端配置日志为例

通过上述两个截图日志可以看到,其实部署客户端的操作就是在部署节点上将/etc/hive/conf.cloudera.hive目录的配置删除,然后将/run/cloudera-scm-agent/process/ccdeploy_hive-conf_xxxx/hive-conf下的配置文件拷贝至/etc/hive/conf.cloudera.hive目录,然后再做授权等操作。

2.通过部署成功的日志,可以得出部署客户端时会在/run/cloudera-scm-agent/process/ccdeploy_*目录下生成客户端临时配置文件

3.登录到部署失败节点(cdh03.fayson.com),进入/run/cloudera-scm-agent/process目录下

在该目录下有大量的部署客户端配置临时文件,那需要根据我们部署失败的时间点找到相应的部署目录,这里Fayson就查找最近时间的部署目录

[root@cdh03 process]# ll -t |grep ccdeploy_ |more

(可左右滑动)

进入上图标识的目录下,可以看到该目录下有logs目录,里面记录了部署客户端配置的详细日志

进入logs目录下,查看stderr.log日志文件内容

在日志的文件末尾看到“/var/lib/alternatives/hadoop-conf empty!”,这里与部署成功的日志有一些区别,因此定位可能是由于该文件为空导致的问题。

4.查看/var/lib/alternatives/hadoop-conf文件

[root@cdh03 alternatives]# ll hadoop-conf
-rw-r--r-- 1 root root 0 Aug 31 09:36 hadoop-conf
[root@cdh03 alternatives]# more hadoop-conf

(可左右滑动)

显示hadoop-conf文件大小为0,文件内没有任何内容。

5.在部署正常的节点上,将/var/lib/alternatives/hadoop-conf文件的内容拷贝至该hadoop-conf文件中

[root@cdh03 alternatives]# more hadoop-conf 
auto
/etc/hadoop/conf

/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/etc/hadoop/conf.empty
10
/etc/hadoop/conf.cloudera.yarn
92
/etc/hadoop/conf.cloudera.hdfs
90

(可左右滑动)

修改成功后,重启该节点的cloudera-scm-agent服务。

6.在Cloudera Manager再次执行部署客户端配置测试,如下图所示部署成功

3.总结


在部署客户端失败且没有日志的情况下,我们可以变通下分析问题的方式,可以通过正常部署的日志信息,推断问题可能会出现在哪里?可以通过正常日志分析部署配置每个阶段的操作,去反推部署异常节点的问题。

在/var/lib/alternatives目录下的文件不存在或做了修改后,需要重启cloudera-scm-agent服务来重新加载该目录下的配置文件。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-09-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏鸿的学习笔记

日志采集技术笔记

使用Linux的rename机制保证文件写入要么成功,要么失败,绝对不能出现写了一半的情况。

3225
来自专栏行者悟空

Redis-3.x集群安装(三主三从)

4723
来自专栏我是攻城师

分布式日志收集之Logstash 笔记(一)

3356
来自专栏闵开慧

ubuntu中配置hadoop

单机模式部署 一、Jdk安装 命令:sudo apt-get install openjdk-6-jdk 目录:/usr/l...

3269
来自专栏蓝天

Solution: AC_CONFIG_MACRO_DIR conflicts with ACLOCAL_AMFLAGS

.ibtoolize: AC_CONFIG_MACRO_DIR([./aclocal]) conflicts with ACLOCAL_AMFLAGS=-I ...

861
来自专栏杨建荣的学习笔记

Oracle主备架构下的逻辑备份考虑

今天想到一个问题,如果有一个环境是一主一备架构,根据业务需要做逻辑备份,该怎么规划和考虑。数据库版本为10g,11g ? 这个问题如果在考虑性能的前提下,我...

3585
来自专栏CSDN技术头条

ZooKeeper故障节点替换过程详解

一、环境描述 我的生产环境ZooKeeper 版本3.4.6,5个节点组成的ZooKeeper集群。ZooKeeper集群为一套8个节点的Hadoop集群和HB...

4775
来自专栏转载gongluck的CSDN博客

搭建 FTP 文件服务

安装并启动 FTP 服务 任务时间:5min ~ 10min 安装 VSFTPD 使用 apt-get 安装 vsftpd: sudo apt-get in...

9547
来自专栏Brian

Hadoop和Zookeeper安装过程中出现的问题解决

概述 我最近在搭建一套大数据生态系统,安装分布式Hadoop和Zookeeper时出现了一些问题。我的分布式环境是由三个节点构成的,分比为:master,sla...

2684
来自专栏散尽浮华

linux下的缓存机制及清理buffer/cache/swap的方法梳理

1)缓存机制介绍 在Linux系统中,为了提高文件系统性能,内核利用一部分物理内存分配出缓冲区,用于缓存系统操作和数据文件,当内核收到读写的请求时,内核先去缓存...

4168

扫码关注云+社区

领取腾讯云代金券