如何使用Cloudera Manager监控服务

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


Cloudera Manager的服务监控功能可监控在集群上运行的服务和角色实例的几十项服务运行状况及性能指标,具体的监控方式有如下:

1.以交互式图表的方式显示服务监控和性能数据

2.配置服务阈值监控指标

3.生成与系统和服务运行状况以及关键日志条目的事件,并使其可用户搜索和警报

4.完整记录与服务相关的操作及配置的更改

  • 内容概述

1.监控服务状态

2.查看服务状态

3.查看服务实例详细信息

4.运行角色的诊断命令

5.定期采集角色堆栈

6.查看正在运行和最近执行的命令

  • 测试环境

1.CM和CDH版本为5.13.1

2.监控服务状态


登录Cloudera Manager从服务界面,我们可以查看服务在集群中的运行状态,管理集群中服务和角色,添加服务,获取有Cloudera Manager生成的客户端配置,使Hadoop客户端用户能够访问集群中的服务。

1.登录Cloudera Manager主页后显示如下图

通过主页可以总体观察各个集群下服务的运行状态及集群的部分性能监控数据。

2.查看或下载集群中服务的客户端配置

点击“View ClientConfiguration URLs”或“查看客户端配置URL”

3.查看进入维护状态的服务

注意:服务进入维护模式后,该服务及其角色产生的告警信息将会被抑制。

点击”视图维护模式状态”按钮,显示集群所有在维护状态的服务

显示集群中处于维护状态的服务列表

3.查看服务状态


1.查看服务的实例状态,这里以HDFS服务为例

进入HDFS服务的入口

2.HDFS服务状态主页面

3.根据时间查看不同时段的服务状态及性能指标

点击“Apply”显示指定时间段的HDFS服务状态及性能指标

以时间轴的方式查看HDFS服务不通时段的状态及性能指标

拖动

图标到指定的时间点查看

4.服务状态摘要,显示了有Cloudera Manager管理的每个服务实例的状态

状态列表:

5.服务摘要

只提供部分服务的摘要信息如HDFS、Flume、Zookeeper等

6.服务监控测试及服务历史健康列表

7.图表监控,显示服务的与其性能和健康有关的关键指标

也可以点击“图表库”菜单查看更多的监控图表

4.查看服务实例详细信息


1.进入HDFS服务,点击“实例”菜单进入HDFS服务示例列表

2.通过左侧的筛选菜单过滤不通类型的角色

3.点击“角色类型”列的某个实例名称可查看该实例的详细信息

4.查看单个实例的监控图表

根据左侧监控类别分类,可以看到单个实例的健康状态和性能指标等

查看单个实例的历史监控状态

时间坐标轴的方式查看

5.可以为单个角色实例设置进入“维护模式”,进入维护模式的角色实例所产生的警告信息会被抑制

在实例列表查看进入维护状态的角色实例。

选择进入维护模式的角色实例,点击“退出维护模式”即可解除警告抑制

6.点击“进程”选项卡可以看到角色实例的进程列表

可以查看该角色实例进程状态、在操作系统的PID以及进程的运行时长,同样也可以获取到该进程的启动参数等信息。

5.运行角色的诊断命令


该功能要求最低角色为集群管理员,Cloudera Manager允许管理员运行针对大多数Java的角色经常运行诊断应用程序工具:

1.列出角色实例打开的文件数(lsof命令)

命令执行成功后,可以下载执行结果,该命令执行成功的前提是当前节点安装了lsof命令,如果无该命令则执行如下命令安装:

[root@ip-172-31-30-69 ~]# yum -y install lsof

2.收集角色的堆栈jstack信息

3.获取角色实例的堆转储(jmap)

4.查看角色实例的堆直方图(jmap-history)

6.定期采集角色堆栈


在Cloudera Manager中启用和配置定收集角色堆栈信息,调用堆栈会定期输出到日志文件,日志可以搬走诊断新能问题,如死锁,处理缓慢或线程数量过多。

堆栈的收集可能会影响正在收集的进程以及主机上的其它进程性能,在Cloudera Manager中该功能默认情况下会关闭。

在Cloudera Manager中大部分的角色都可以使用堆栈收集功能。例如:Datanode、NameNode、HttpFS、JournalNode和NFS网关的堆栈收集。如果角色的配置项中无“Stacks Collection”类别,则该功能对该角色不可用。

1.配置角色的堆栈收集,这里以Datanode角色为例

2.查看角色堆栈信息

3.下载角色堆栈信息

7.查看正在运行和最近执行的命令


1.进入CM主页点击“所有最新命令”,可以查看到当前集群正在运行和最近执行的所有命令

2.查看命令运行详情

3.进入服务或角色,点击“命令”

查看当前服务或角色最新运行的命令和最新执行的命令

通过查看正在运行和最近执行的命令功能,可以以集群、服务或角色实例为单位去筛选正在运行和最近执行的命令。

具体可以参考:

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_dg_resource_management_monitoring.html

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-06-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏简单聊聊Spark

Spark内核分析之Worker原理分析

        接着上篇的Schedule调度内容,本篇我们来看看Driver,Application向Worker发送launch以后到底发生了什么。先来看看...

9630
来自专栏大数据挖掘DT机器学习

python模拟新浪微博登陆功能(新浪微博爬虫)

有些网站设置了权限,只有在登录了之后才能爬取网站的内容,如何模拟登录,目前的方法主要是利用浏览器cookie模拟登录。 浏览器访问服务器的过程 在用户访问网页时...

1.1K50
来自专栏搜云库

搭建高吞吐量 Kafka 分布式发布订阅消息 集群

搭建高吞吐量 Kafka 分布式发布订阅消息 集群 简介 Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理...

28050
来自专栏PPV课数据科学社区

大数据系列(2)——Hadoop集群坏境CentOS安装

前言 前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,...

38160
来自专栏前端说吧

关于跨域-学习笔记

31960
来自专栏杂七杂八

从零开始Hadoop集群环境搭建

本篇文章将从头开始介绍Hadoop大数据平台的一系列搭建工作,主要是搭建的具体操作步骤,思想方面涉及甚少,可以自行补充 虚拟机下载安装 我使用的是VMware...

35960
来自专栏编程坑太多

『中级篇』docker之CI/CD持续集成—真实Python项目的CI演示(72)

源码地址:https://github.com/limingios/docker-cloud-flask-demo

84350
来自专栏zhisheng

Kafka 安装及快速入门

介绍 官网:http://kafka.apache.org/ Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Ap...

33280
来自专栏xingoo, 一个梦想做发明家的程序员

Redis从单机到集群,一步步教你环境部署以及使用

Redis作为缓存系统来说还是很有价值的,在大数据方向里,也是需要有缓存系统的。一般可以考虑tachyon或者redis,由于redis安装以及使用更简单,所...

57160
来自专栏c#开发者

HTML5手机APP开发入门(1)

HTML5手机APP开发入门(1) 开发框架 Ionicframework V2 + Angular 2 具体内容可以参考一下网站 http://ionicf...

56080

扫码关注云+社区

领取腾讯云代金券