标题:DKhadoop大数据处理平台监控数据介绍

标题:DKhadoop大数据处理平台监控数据介绍

2018年国内大数据公司50强榜单排名已经公布了出来,大快以黑马之姿闯入50强,并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》,继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。

DKhadoop大数据处理平台架构的安装相关文章已经分享过,详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完,关于大快大数据处理平台监控参数的介绍就完整了。

1、Yarn监控界面

(1) 执行失败的应用程序

监控 yarn资源管理中总执行失败的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(2)已提交的应用程序

监控 yarn资源管理中已提交的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(3)正在运行的应用程序

监控 yarn资源管理中正在运行的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(4) 等待执行的应用程序

监控 yarn资源管理中等待执行的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(5)已完成的应用程序

监控 yarn资源管理中已完成的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

(6)被kill的应用程序

监控 yarn资源管理中被杀死的应用程序数量

纵轴表示应用程序数量,单位个

横轴表示时间,单位分钟

2、Spark监控界面

注意:(spark 运行任务后才有监控数据)

(1) 最大可使用内存

监控 Spark 集群中最大可使用的内存

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(2)已使用的内存

监控 Spark 集群中已经使用的内存

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(3)剩余内存

监控 Spark 集群中剩余的内存

纵轴表示内存容量,单位(MB)

横轴表示时间,单位分钟

(4)Spark中任务数量

监控 Spark 集群中任务数量

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(5)Spark中正在运行的任务数量

监控  Spark中正在运行的任务数量

纵轴表示内存容量,单位MB

横轴表示时间,单位分钟

(6)正在运行的stage数量

监控  Spark集群中正在运行的stage数量

纵轴表示stage数量,单位个

横轴表示时间,单位分钟

(7)失败的stage数量

监控  Spark集群中运行失败的stage数量

纵轴表示stage数量,单位个

横轴表示时间,单位分钟

(8)准备就绪的stage数量

监控  Spark集群中准备就绪的stage数量

纵轴表示stage数量,单位个

横轴表示时间,单位分钟

备注:

(横轴的时间表示采集时间,一般是1分钟一次)

�^���

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏微服务生态

跟我学分布式事务之2PC和3PC

在分布式系统中,为了保证数据的高可用,通常,我们会将数据保留多个副本(replica),这些副本会放置在不同的物理的机器上。为了对用户提供正确的增\删\改\差等...

1064
来自专栏Hadoop实操

CDH6中的第三方库

在最近发布的CDH6版本中,Cloudera投入了大量的人力和物力用于升级所使用的第三方库。这次CDH的大版本更新可以让我们使用到一些较新的库。升级库的目的主要...

6526
来自专栏.NET技术

关于分布式事务、两阶段提交协议、三阶提交协议

随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。

4182
来自专栏陈树义

ElasticSearch + Canal 开发千万级的实时搜索系统

公司是做社交相关产品的,社交类产品对搜索功能需求要求就比较高,需要根据用户城市、用户ID昵称等进行搜索。 项目原先的搜索接口采用SQL查询的方式实现,数据库表采...

7114
来自专栏Albert陈凯

Hadoop离线数据分析平台实战——410事件分析Hadoop离线数据分析平台实战——410事件分析

Hadoop离线数据分析平台实战——410事件分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR) 完...

3758
来自专栏Albert陈凯

Hadoop离线数据分析平台实战——340浏览器PV分析Hadoop离线数据分析平台实战——340浏览器PV分析

Hadoop离线数据分析平台实战——340浏览器PV分析 项目进度 模块名称 完成情况 用户基本信息分析(MR)� 完成 浏览器信息分析(MR...

36310
来自专栏企鹅号快讯

ElasticSearch+Canal 开发千万级的实时搜索系统

公司是做社交相关产品的,社交类产品对搜索功能需求要求就比较高,需要根据用户城市、用户ID昵称等进行搜索。 项目原先的搜索接口采用SQL查询的方式实现,数据库表采...

2875
来自专栏加米谷大数据

大数据技术hive介绍

1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce...

3211
来自专栏北京马哥教育

给 Java开发者的10个大数据工具和框架

? 作者:java妞妞 来源:http://blog.csdn.net/javaniuniu/article/details/71250316 当今IT开发人...

39911
来自专栏谈补锅

app使用微信支付成功后,点击返回到该app却跳到另外一个app去了

有一台iPhone在一个APP中使用了微信支付,支付成功后,点击返回到该APP,结果却跳到了另外一个APP去了。

1.4K7

扫码关注云+社区

领取腾讯云代金券