专栏首页hadoop学习标题:DKhadoop大数据处理平台监控数据介绍
原创

标题:DKhadoop大数据处理平台监控数据介绍

标题:DKhadoop大数据处理平台监控数据介绍

2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。

DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完,关于大快大数据处理平台监控参数的介绍就完整了。

1、Yarn监控界面

(1) 执行失败的应用程序

监控 yarn资源管理中总执行失败的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(2)已提交的应用程序

监控 yarn资源管理中已提交的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(3)正在运行的应用程序

监控 yarn资源管理中正在运行的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(4) 等待执行的应用程序

监控 yarn资源管理中等待执行的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(5)已完成的应用程序

监控 yarn资源管理中已完成的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(6)被kill的应用程序

监控 yarn资源管理中被杀死的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

2、Spark监控界面

注意:(spark 运行任务后才有监控数据)

(1) 最大可使用内存

监控 Spark 集群中最大可使用的内存

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(2)已使用的内存

监控 Spark 集群中已经使用的内存

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(3)剩余内存

监控 Spark 集群中剩余的内存

纵轴表示内存容量,单位(MB)

横轴表示时间,单位分钟

(4)Spark中任务数量

监控 Spark 集群中任务数量

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(5)Spark中正在运行的任务数量

监控  Spark中正在运行的任务数量

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(6)正在运行的stage数量

监控  Spark集群中正在运行的stage数量

纵轴表示stage数量,单位个

横轴表示时间,单位分钟

(7)失败的stage数量

监控  Spark集群中运行失败的stage数量

纵轴表示stage数量,单位个

横轴表示时间,单位分钟

(8)准备就绪的stage数量

监控  Spark集群中准备就绪的stage数量

纵轴表示stage数量,单位个

横轴表示时间,单位分钟

备注:

(横轴的时间表示采集时间,一般是1分钟一次)

�^���

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • DKhadoop安装包下载与监控参数说明

    前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下,但好像大快搜索的服务...

    用户3392176
  • Hadoop伪分布式环境搭建之Linux操作系统安装

    本篇文章是接上一篇《超详细hadoop虚拟机安装教程(附图文步骤)》,上一篇有人问怎么没写hadoop安装。在文章开头就已经说明了,hadoop安装会在后面写到...

    用户3392176
  • 实用贴:hadoop系统下载安装教程

    在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。

    用户3392176
  • DKhadoop安装包下载与监控参数说明

    前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下,但好像大快搜索的服务...

    用户3392176
  • virink的web题

    这里发现服务器是用OpenResty服务器,这里pcat科普下:OpenResty是一个基于Nginx与Lua的高性能Web平台,其内部集成了大量精良的Lua库...

    ChaMd5安全团队
  • python pygame安装

    SDL(Simple DirectMedia Layer)是一套开放源代码的跨平台多媒体开发库,使用C语言写成。SDL提供了数种控制图像、声音、输出入的函数,让...

    李小白是一只喵
  • circos 可视化手册-line plot 篇

    在直线图中,会看到如下所示的分割线,max_gap的作用就是设置分割线的间距,max_gap = 1u 代表每隔1个单位画一条分割线,其用法和ticks类似

    生信修炼手册
  • 30分钟用Restful ABAP Programming模型开发一个支持增删改查的Fiori应用

    2016年时,Jerry曾经写过一系列关于SAP Fiori Smart Template(现在更名为Fiori Elements了)的博客,介绍了所谓的MDD...

    Jerry Wang
  • OpenStack实践(五):Linux Bridge方式实现Load Balance

    openstack安装详见:OpenStack实践(一):Ubuntu16.04下DevStack方式搭建p版OpenStack

    loong576
  • react-native 环境安装常见问题

    解决方法:Change directory to /Users/windseek/Library/andriod/sdk/tools/bin And over ...

    windseek

扫码关注云+社区

领取腾讯云代金券