大快DKH大数据基础数据平台的监控参数说明

2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。

DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完,关于大快大数据处理平台监控参数的介绍就完整了。

1、Yarn监控界面

(1) 执行失败的应用程序

监控 yarn资源管理中总执行失败的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(2)已提交的应用程序

监控 yarn资源管理中已提交的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(3)正在运行的应用程序

监控 yarn资源管理中正在运行的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(4) 等待执行的应用程序

监控 yarn资源管理中等待执行的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(5)已完成的应用程序

监控 yarn资源管理中已完成的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(6)被kill的应用程序

监控 yarn资源管理中被杀死的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

2、Spark监控界面

注意:(spark 运行任务后才有监控数据)

(1) 最大可使用内存

监控 Spark 集群中最大可使用的内存

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(2)已使用的内存

监控 Spark 集群中已经使用的内存

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(3)剩余内存

监控 Spark 集群中剩余的内存

纵轴表示内存容量,单位(MB)

横轴表示时间,单位分钟

(4)Spark中任务数量

监控 Spark 集群中任务数量

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(5)Spark中正在运行的任务数量

监控  Spark中正在运行的任务数量

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(6)正在运行的stage数量

监控  Spark集群中正在运行的stage数量

纵轴表示stage数量,单位个

横轴表示时间,单位分钟

(7)失败的stage数量

监控  Spark集群中运行失败的stage数量

纵轴表示stage数量,单位个

横轴表示时间,单位分钟

(8)准备就绪的stage数量

监控  Spark集群中准备就绪的stage数量

纵轴表示stage数量,单位个

横轴表示时间,单位分钟

备注:

(横轴的时间表示采集时间,一般是1分钟一次)

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏沉思录

客户端秒级时间同步方案

对于某些问题设备来说,设备时间与比当前实际的时间差了几个小时,甚至几天的情况都存在。那么,客户端如果能够获取到当前最准确的时间呢?

96560
来自专栏运维

纯开源产品打造初创公司运维体系

名称:CentOS 官网:https://www.centos.org/ 简介:CentOS(Community Enterprise Operating Sy...

32120
来自专栏Albert陈凯

Hadoop离线数据分析平台实战——290活跃用户分析Hadoop离线数据分析平台实战——290活跃用户分析

Hadoop离线数据分析平台实战——290活跃用户分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 未完成 浏览器信息分析(MR...

373140
来自专栏Spark学习技巧

如何简单写yarn app

尽管YARN自带的编程API已经得到了极大的简化,但从头开发一个YARN应用程序仍是一件非常困难的事情。在YARN上编写一个应用程序,你需要开发Client和A...

18020
来自专栏芋道源码1024

MongoDB、HBase、Redis 等 NoSQL 优劣势、应用场景

NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代,虽然RDBMS很优秀,但是面对快速增长的数据规模和日渐复杂的数据模型,RDBMS渐渐力不从...

38840
来自专栏即时通讯技术

知乎技术分享:从单机到2000万QPS并发的Redis高性能缓存实践之路

知乎存储平台团队基于开源Redis 组件打造的知乎 Redis 平台,经过不断的研发迭代,目前已经形成了一整套完整自动化运维服务体系,提供很多强大的功能。本文作...

64720
来自专栏用户2442861的专栏

高并发服务端分布式系统设计概要(上)

http://www.cnblogs.com/ccdev/p/3338412.html

14130
来自专栏Hadoop实操

如何部署active-active的Hadoop集群

20830
来自专栏Albert陈凯

spark on yarn的技术挑战

目前spark是一个非常流行的内存计算(或者迭代式计算,DAG计算)框架,在MapReduce因效率低下而被广为诟病的今天,spark的出现不禁让大家眼前一亮。...

27860
来自专栏xingoo, 一个梦想做发明家的程序员

[大数据之Yarn]——资源调度浅学

在hadoop生态越来越完善的背景下,集群多用户租用的场景变得越来越普遍,多用户任务下的资源调度就显得十分关键了。比如,一个公司拥有一个几十个节点的hadoo...

19450

扫码关注云+社区

领取腾讯云代金券