老司机常用的kafka监控-eagle

前面有文章说到了一个叫kafka manager的kafka管理工具,这个工具管理kafka确实很强大,但是没有安全认证,随便都可以创建,删除,修改topic,而且告警系统,流量波动做的不好。所以,在这里浪尖,再给大家推荐一款kafka 的告警监控管理工具,kafka-eagle。

kafka-eagle主要是有几个我们关注 但kafkamanager不存在的点,值得一提:

  • 流量,最长可以查看最近七天的流量波动图
  • lag size邮件告警
  • 可以用kafkasql分析

1.下载解压

直接下载压缩包

http://download.smartloli.org/

源码地址

https://github.com/smartloli/kafka-eagle

建议直接下载压缩包,而不是使用源码编译,编译过程中容易出错。有兴趣的可以下载源码阅读一下。

解压

tar -zxf ~/Downloads/kafka-eagle-bin-1.2.4.tar.gz -C ./

给文件加充命名为kafka-eagle。

2. 配置

配置环境变量。

vi /etc/profile

export KE_HOME=/opt/hadoop/kafka-eagle
export PATH=$PATH:$KE_HOME/bin

3. 配置system-config.properties

浪尖这里运行了多个kafka版本,以此测试多版本多集群,具体配置方式可以参考下面配置。

######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=localhost:2181/kafka010
cluster2.zk.list=localhost:2181/kafka082
######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zookeeper

######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=false

######################################
# alarm email configure
######################################
kafka.eagle.mail.enable=false
kafka.eagle.mail.sa=alert_sa
kafka.eagle.mail.username=alert_sa@163.com
kafka.eagle.mail.password=mqslimczkdqabbbh
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
kafka.eagle.sasl.enable=false
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN

######################################
# kafka jdbc driver address
######################################
#kafka.eagle.driver=com.mysql.jdbc.Driver
#kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
#kafka.eagle.username=root
#kafka.eagle.password=mt2018@#

kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/opt/hadoop/kafka-eagle/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=smartloli

启动运行

在启动运行之前要做下面一步,

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home

否则,会报错误如下:

正式启动kafka-eagle

bin/ke.sh start

启动成功之后,会有如下日志,注意红框处。

打开浏览器,输入上面截图红框处提示的url

点击登陆之后进入

具体使用,可以参考手册

https://ke.smartloli.org/1.Overview/1.Overview.html

原文发布于微信公众号 - Spark学习技巧(bigdatatip)

原文发表时间:2018-10-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏伪君子的梦呓

使用github搭建个人博客

前言 为什么我要搭建一个个人博客呢?主要是为了方便自己分类一些东西,而且最近在学 html 和 css ,搭建一个博客来帮助自己理解一下。 文章主要分6个部分,...

4396
来自专栏FreeBuf

如何确定恶意软件是否在自己的电脑中执行过?

很不幸,你在自己的电脑里发现了一个恶意的可执行程序!那么问题来了:这个文件到底有没有执行过? ? 在这篇文章中,我们会将注意力放在Windows操作系统的静态取...

3265
来自专栏Android干货园

Idea14创建第一个Spring MVC项目步骤

版权声明:本文为博主原创文章,转载请标明出处。 https://blog.csdn.net/lyhhj/article/details/48...

1111
来自专栏叔叔的博客

关于bootstrap.yml,踩的坑

首先,bootstrap.yml作为配置文件,是在springcloud中实现的,而不是springboot!

2142
来自专栏北京马哥教育

【大型网站技术实践】初级篇:借助Nginx搭建反向代理服务器

一、反向代理:Web服务器的“经纪人” 1.1 反向代理初印象   反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求...

5196
来自专栏北京马哥教育

【大型网站技术实践】初级篇:借助Nginx搭建反向代理服务器

一、反向代理:Web服务器的“经纪人” 1.1 反向代理初印象 反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然...

4648
来自专栏Python中文社区

基于pyenv和virtualenv搭建python多版本虚拟环境

pyenv简介 由于Python的依赖是基于site的,这对于生产环境来说,是一种简单而正确的方式,然而,对于我们的开发环境,基于这样的管理方式,带来了可怕的第...

2508
来自专栏何俊林

Ubuntu18.04 从头开始编译 Android Native WebRTC

本文详细记录Mac下使用PD虚拟机安装ubuntu18.4桌面版,编译Android Native WebRTC的过程。

2772
来自专栏漏斗社区

FineCMS 漏洞不仅皮囊好看,灵魂更有趣

0x00 背景 最近在挖掘FineCMS源码的漏洞,发现了一些有趣的洞,斗哥计划先从配置文件写入开始分析,然后再结合存储XSS进行GetShell,本篇先分析配...

39512
来自专栏漏斗社区

工具| OpenVas基础安装及使用篇

OpenVAS是开放式漏洞评估系统,也称为一个包含着相关工具的网络扫描器。其核心部件是一个服务器,包括一套网络漏洞测试程序,可以检测远程系统和应用程序中的安全问...

4128

扫码关注云+社区

领取腾讯云代金券