专栏首页王小雷Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5)

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5)

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari(5)

1.0 监控ResourceManager进程Java虚拟机中堆空间的特定部分。

  • jstat工具,在JDK的bin目录,可以显示大量JVM统计信息。

1.1 JVM分析

  • 一个Java虚拟机(JVM)进程被分为3个区(代),具体分为年轻代(young generation)、年老代(tenured generation)和持久代(permanent generation)
    • 年轻代被分为三个子区域:Eden(区),第一Survivor区和第二Survivor区。当一个对象被JVM创建时,它首先在Eden区创建,然后被移到第一Survivor区,然后再被移到第二Survivor区,最后被移到年老区。

2. Ganglia监控系统可以为集群提供实时监控视图。

  • Ganglia监控程序名为gmond,必须按照在所有你想要监控的服务器上,在主监控节点上,需要安装必要的安装包。

3. Apache Ambari集中式的管理一个Hadoop集群,使用Ambari,管理员可以配置集群的服务,监控服务节点的状态,利用服务的监控指标实现热点可视化,开启或暂停服务,以及向集群添加新节点。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于 Hadoop大数据分析应用场景与实战

    为了满足日益增长的业务变化,京东的京麦团队在京东大数据平台的基础上,采用了 Hadoop 等热门的开源大数据计算引擎,打造了一款为京东运营和产品提供决策性的数据...

    李鹏
  • 腾讯云大数据平台的产品组件介绍及测试方法

    本文将基于数据采集->数据存储->数据处理->数据展现的生命周期,描述一些大数据平台中使用的一些技术,对技术的框架、使用场景进行描述。

    王燚
  • 在腾讯云上搭建 Hadoop 完全分布式集群

    搭建完全分布式的 Hadoop 集群,需要三台同号同区腾讯云服务器,配置可根据所需求自行加减,三台系统为 CentOS 6.5 64位。

    氧化先生
  • 腾讯云大数据套件Hermes-MR索引插件使用总结

    Hermes是多维分析利器,使用步骤分为索引创建和数据分发两个步骤。Hermes目前尚未集成到TBDS套件(3.0版本)中且外部有客户需要在自己部署的集群上使用...

    王亮
  • Spark 开发环境搭建

    本文是对初始接触 Spark 开发的入门介绍,说明如何搭建一个比较完整的 Spark 开发环境,如何开始应用相关工具。文中如有错误或者不当之处,敬请指正。

    syw
  • 【腾讯云的1001种玩法】hadoop 伪分布式搭建

    Hadoop实现了一个分布式文件系统(简称HDFS)。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high...

    张泽旭
  • 鹅厂上万节点大规模集群的跨城自动迁移(下)

    当上百P的数据,上万个节点的集群进行跨城迁移时,如何在有限的带宽下实现自动、高效、稳定地迁移?本文将跟你一一揭晓!

    腾讯技术工程官方号
  • Hbase 技术细节笔记(上)

    最近在跟进 Hbase 的相关工作,由于之前对 Hbase 并不怎么了解,因此系统地学习了下 Hbase ,为了加深对Hbase的理解,对相关知识点做了笔记,并...

    飞鸿无痕
  • 【腾讯云的1001种玩法】在腾讯云上部署你的Hadoop集群

    Apache Hadoop软件库是一个框架,开发者只需使用简单的编程模型在大量计算机(配置不高)上对大型数据集进行分布式处理。本文主要跟大家讲述如何在腾讯云上部...

    YingJoy_
  • Spark踩坑记:初试

    Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。本系列文将通过初试、Hbase+Mysql 、Spark Streaming+ka...

    肖力涛

扫码关注云+社区

领取腾讯云代金券