如何监控你的Hadoop+Hbase集群?

前言 监控hadoop的框架有不少,如CDH的CM组件和Ambari都可以监控他们自己的hadoop,但是它不能监控apache的hadoop,如果你是使用原生的Apache Hadoop,那么也没关系,原生的Hadoop天生就提供了非常详细的对接Ganglia的jmx接口,里面包含了各个核心组件metrics获取功能,这一点你可以查看hadoop和hbase包括spark的conf下面的metrics文件里面配置,就能得到验证。 (一)Ganglia是什么?  Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据(如处理器速度、内存使用量等)的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式,才使得 Ganglia 可以实现良好的扩展。gmond 带来的系统负载非常少,这使得它成为在集群中各台计算机上运行的一段代码,而不会影响用户性能。 (二)Ganglia的主要组件 1,gmond (Ganglia Monitioring Daemon): gmond是ganglia监控的基于多线程模式的守护进程,它需要安装运行在每个你想要监控的机器上,安装非常简单,你不需要有一个通用的NFS系统或者安装一个数据库后端存储, 或者安装指定一个账户,也不需要维护一个繁琐的配置文件。 gmond有4个主要的职责: A:监控主机状态变化 B:发现或发布相关变化 C:监控其他的所有的ganglia节点通过一个单播(unicast)或者多播(multicast)通道模式 D:答复集群转态通过一个XML描述的信息 2,gmetad(Ganglia Meta Daemon ) gmetad是ganglia的元数据守护进程,通常只需要一个监控集群只需要一个元数据守护进程即可,当然如果你想实现高可用的数据冗余,你也可以配置多个, gmetad主要是收集汇聚解析从各个gmond进程汇报发送过来的信息,并将其保存至rrd数据库里,供前端查询展示所需。 3,ganglia-web(Ganglia PHP Web Frontend) ganglia的前端展示框架,负责以图形化的方式,展示集群的一些metics,并且支持分钟,小时,日,月,年,级别的汇总展示,虽然页面丑陋了点,但不 不算华而不实,主要是将rrd里面的XML的数据,解析为静态的HTML网页,方便管理员查询集群的cpu,内存,磁盘,网络,等一些自定义的metrics的某个时间段的 负载展现图 (三)Ganglia的架构拓扑

(四)Ganglia的安装 假设有3台机器centos6.5的系统,分别如下: 192.168.1.187 hadoop hbase gmetad gmond ganglia-web 192.168.1.186 hadoop hbase gmond 192.168.1.184 hadoop hbase gmond 主节点上安装的组件安装gmetad,gmond,ganglia-web 1,安装依赖组件:

Java代码

  1. yum -y install httpd-devel automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig

2,安装ganglia的epel源,每台机器上 如果是centos7的系统:

Java代码

  1. # yum install epel-release
  2. # yum install ganglia-web ganglia-gmetad ganglia-gmond 或者直接 yum install -y ganglia*

如果是centos6的系统:

Java代码

  1. sudo rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm
  2. yum install -y ganglia*

3,配置ganglia 主节点上,需要配置三个东西: A : /etc/ganglia/gmetad.conf 只需要配置2个核心选项即可

Java代码

  1. data_source "hadoop" 192.168.1.187 192.168.1.186 192.168.1.184 // 使用单播的方式,加入所有要监控的机器ip,默认端口是8649
  2. case_sensitive_hostnames 1 //是否忽略大小写,1代表不忽略,如果你的机器名里面含有大写的字母,一定要配置1,否则ganglia的前端图形就不能正确的读取rrds里面的每个机器的数据

B : /etc/ganglia/gmond.conf

Java代码

  1. cluster {
  2. name = "hadoop" #配置的名字与gmetad里面的需要一致
  3. owner = "unspecified"
  4. latlong = "unspecified"
  5. url = "unspecified"
  6. }
  7. udp_send_channel {
  8. #mcast_join = 239.2.11.71 #注释掉默认的多播地址
  9. host = 192.168.1.187 # 使用单播模式,发送消息
  10. port = 8649
  11. ttl = 1
  12. }
  13. udp_recv_channel {
  14. #mcast_join = 239.2.11.71
  15. port = 8649
  16. bind = 192.168.1.187 #主节点的这个配置需要加上,用来接受其他机器上的传输过来的数据 , 特别注意从节点上的这项配置是
  17. retry_bind = true
  18. }

C : /etc/httpd/conf.d/ganglia.conf

Java代码

  1. <Location /ganglia>
  2. Order deny,allow
  3. Allow from all #允许所有的机器访问
  4. #Deny from all
  5. #Allow from 127.0.0.1
  6. # Allow from ::1
  7. # Allow from .example.com
  8. </Location>

4,从节点只要安装gmond组件即可

Java代码

  1. yum install -y ganglia-gmond

然后配置gmond.conf

Java代码

  1. cluster {
  2. name = "hadoop" #配置的名字与gmetad里面的需要一致
  3. owner = "unspecified"
  4. latlong = "unspecified"
  5. url = "unspecified"
  6. }
  7. udp_send_channel {
  8. #mcast_join = 239.2.11.71 #注释掉默认的多播地址
  9. host = 192.168.1.187 # 使用单播模式,发送消息
  10. port = 8649
  11. ttl = 1
  12. }
  13. udp_recv_channel {
  14. #mcast_join = 239.2.11.71
  15. port = 8649
  16. #bind = 192.168.1.187 仅仅安装gmond的节点上,不需要这项配置,加上会报错
  17. retry_bind = true
  18. }

5,如何改变rrd存储路径: 最好的办法,就是使用软连接,直接改gmetad里面的配置有时候可能不生效 默认的存储路径在/var/lib/ganglia/rrds/ 你可以在这个目录,建一个软连接,改变此库的存储路径: 在/var/lib/ganglia/rrds 新建软连接,第一个参数是新路径,第二个参数是默认路径

Java代码

  1. sudo ln -s /ROOT/server/rrds /var/lib/ganglia/rrds

改变rrds的tools的默认路径: http://stackoverflow.com/questions/26619473/how-to-change-the-storage-path-from-rrdtool-on-the-ganglia 需要注意改变后的路径的权限和用户赋值

Java代码

  1. mkdir -p /some/other/place/
  2. chown -R ganglia:ganglia /some/other/place/
  3. chmod -R 777 /some/other/place/

5,如何卸载组件?

Java代码

  1. sudo yum remove -y ganglia-web ganglia-gmetad

主节点启动

Java代码

  1. sudo service gmetad start
  2. sudo service gmond start
  3. sudo service httpd start

从节点

Java代码

  1. sudo service gmond start

出现错误后,可以查看系统log的日志 sudo tail -f /var/log/messages 大部分错误,在这里都能看到提示 (五)Hadoop和Hbase的监控 修改hadoop-metrics2.properties文件,在行末添加如下配置:

Java代码

  1. *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
  2. *.sink.ganglia.period=10
  3. *.sink.ganglia.supportsparse=true
  4. *.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
  5. *.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
  6. namenode.sink.ganglia.servers=192.168.1.187:8649 #当有多个ganglia监控系统时,以逗号分隔
  7. datanode.sink.ganglia.servers=192.168.1.187:8649 #都指定ganglia服务器
  8. resourcemanager.sink.ganglia.servers=192.168.1.187:8649
  9. nodemanager.sink.ganglia.servers=192.168.1.187:8649
  10. mrappmaster.sink.ganglia.servers=192.168.1.187:8649
  11. jobhistoryserver.sink.ganglia.servers=192.168.1.187:8649

修改hadoop-metrics2-hbase.properties文件,在行末添加如下配置:

Java代码

  1. *.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
  2. *.sink.ganglia.period=10
  3. hbase.sink.ganglia.period=10
  4. hbase.sink.ganglia.servers=192.168.1.187:8649

完了分发hadoop和hbase的配置文件,到所有的机器上,然后重启集群 (六)访问http://192.168.1.187:80/ganglia 查看监控图

yarn监控

hbase的监控

至此,我们的监控系统就建立起来了,需要注意的是,当监控上hadoop的相关的指标时,rrds库的体积,膨胀比较大,所以这个库存的盘一定要大一点,或者在gmetad里面开启gzip压缩,否则把系统盘撑爆了,其他的程序有可能也会受到影响。 参考链接: https://sourceforge.net/projects/ganglia/?source=typ_redirect http://blog.cheyo.net/88.html http://www.cnblogs.com/smartloli/p/4519914.html http://lizhenliang.blog.51cto.com/7876557/1669312 http://www.cnblogs.com/zhengrunjian/p/4998334.html

原文发布于微信公众号 - 我是攻城师(woshigcs)

原文发表时间:2016-03-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PHP在线

php连接mysql数据库的几种方式(mysql、mysqli、pdo)

php与mysql的连接有三种API接口,分别是:PHP的MySQL扩展 、PHP的mysqli扩展 、PHP数据对象(PDO) ,下面针对以上三种连接方式做下...

4838
来自专栏九彩拼盘的叨叨叨

CanIUse 命令行工具介绍

注意:如果使用的是Windows系统,需要在Git的命令行执行上述命令。否则会报Git Not Found的错。

681
来自专栏Snova云数仓

Greenplum的HA实践

GP集群的 Primary MasterA节点部署一个备份节点,即Slava Master B节点。

9076
来自专栏云计算教程系列

如何更改SELinux模式

Security Enhanced Linux是一个Linux安全模块,用于强制或基于角色的访问控制。SELinux默认与CentOS和Fedora打包在一起,...

2522
来自专栏菩提树下的杨过

dubbox 的各种管理和监管

dubbo官方自带了dubbo-admin及dubbo-simple/dubbo-monitor-simple二个子项目用于服务治理及服务监控。  一、dubb...

32710
来自专栏有困难要上,没有困难创造困难也要上!

Mac上启动Apache服务

3194
来自专栏xingoo, 一个梦想做发明家的程序员

Tomcat6.0 管理器配置

最近忙着毕业答辩,填写材料,好多事情都给耽搁了!一个月都没有继续翻译tomcat,这回有点时间赶紧补上。 这部分,其实对开发者或者tomcat管理者来说,只...

2127
来自专栏Laoqi's Linux运维专列

apache-ab 并发负载压力测试

3373
来自专栏懒人开发

bpkg工具

最近接手一个项目 本来是jenkinsfile相关, 但是由于这里很多实现都是用的shell 并且还是用的 bpkg 做的管理, 再在bpkg基础上, 写了...

1813
来自专栏为数不多的Android技巧

react-native环境搭建的正确姿势

上个月Facebook开源了Android版的react-native,react-native为何物就不多介绍,个人认为虽然取代不了native,但是确实有可...

1301

扫码关注云+社区

领取腾讯云代金券