前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Prometheus监控Kafka

Prometheus监控Kafka

作者头像
Eights
发布2020-07-10 14:34:41
6.9K1
发布2020-07-10 14:34:41
举报
文章被收录于专栏:Eights做数据

1

背景介绍

大数据组件中,Kafka使用非常广泛。而提及Kafka的监控,历来都是个头疼的事情,Kafka的开源社区在监控框架上并没有投入太多的精力。(Cloudera倒是有一个关于Kafka独立的产品Cloudera Streams Management)

下面是几种常见的Kafka监控方案:

  • JMXTool
  • Kafka Manager
  • Kafka Eagle(目前使用中)
  • Kafka Center(最近才开源,没有做测试)
  • Prometheus + Grafana

以上开源监控方案,各有千秋,Kafka Manager,Kafka Eagle,适合基本的Kafka监控。如果企业已经使用上Prometheus,也非常方便将Kafka的监控集成到Prometheus上。即采用kafka_exporter采集Kafka的metrics,发送到Prometheus,使用Grafana进行展示。

2

kafka_exporter安装

下载地址:https://github.com/danielqsj/kafka_exporter/releases

上传服务器并进行解压

代码语言:javascript
复制
tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz -C /opt/

创建日志目录,编写启动脚本

代码语言:javascript
复制
vi /var/log/kafka_exporter.log
# 启动脚本
/opt/kafka_exporter-1.2.0.linux-amd64/kafka_exporter \
--kafka.server=10.64.49.5:9092 >> /var/log/kafka_exporter.log

编写kafka_exporter启动服务

代码语言:javascript
复制
vi /usr/lib/systemd/system/kafka_exporter.service

[Unit]
Description=kafka_exporter
Documentation=https://github.com/danielqsj/kafka_exporter/
Wants=network-online.target
After=network-online.target

[Service]
User=prometheus
Group=prometheus
# 启动脚本
ExecStart=/opt/kafka_exporter-1.2.0.linux-amd64/start_kafka_exporter.sh

[Install]
WantedBy=multi-user.target

启动kafka_exporter服务,注意修改下/var/log/kafka_exporter.log文件的所属用户和权限

代码语言:javascript
复制
# 配置开机启动
systemctl enable kafka_exporter
systemctl start kafka_exporter
systemctl status kafka_exporter

访问kafka_exporter机器的9308端口

kafka_exporter部署完成

3

Prometheus配置采集kafka_exporter

修改prometheus的yml配置文件,添加kafka_exporter配置

代码语言:javascript
复制
# 采集kafka指标
  - job_name: 'prod_kafka'
    static_configs:
    - targets:
      - 'utility2.xxxxxx.com:9308'

更新prometheus配置

代码语言:javascript
复制
curl -X POST http://127.0.0.1:9091/-/reload

访问Prometheus查看kafka_exporter是否生效

4

配置Grafana

搜索kafka的grafana仪表板,下载json配置

地址:https://grafana.com/grafana/dashboards/7589

导入Grafana dashborad

模板导入效果,后续可以根据自身业务进行修改,Prometheus上可以配置Kafka的报警策略。在dashboard上,可以跟Kafka主机的监控结合起来放到一个页面。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-05-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Eights做数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
Prometheus 监控服务
Prometheus 监控服务(TencentCloud Managed Service for Prometheus,TMP)是基于开源 Prometheus 构建的高可用、全托管的服务,与腾讯云容器服务(TKE)高度集成,兼容开源生态丰富多样的应用组件,结合腾讯云可观测平台-告警管理和 Prometheus Alertmanager 能力,为您提供免搭建的高效运维能力,减少开发及运维成本。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档