基于ELK+Beats进行系统监控

(一)Beats是什么? Beats是elasticsearch公司开源的一款采集系统监控数据的代理agent,它可以发送不同类型的数据到elasticsearch中,也可以行将采集完的数据发送到logstash中转,然后在推送到elasticsearch中,目前还在发展中,与成熟的监控系统zabbix和ganglia相比就界面看起来爽了点,系统功能还是有点弱,不过与elasticsearch全文搜索框架集成后,数据查询过滤功能非常强悍,还是非常有前途 的,在ELKB中,各个框架角色如下: Beats:负责收集系统数据,可以直接发送到es中,也可以通过logstash中转 logstash:收集日志,为beats提供中转功能 Elasticsearch:提供数据存储,服务端聚合计算功能 Kibana:提供炫丽的可视化图形展示并且作为elasticsearch的搜索的小清新客户端 (二)Beats的组成: 到目前elasticsearch已经提供的有: (1)Packetbeat 网络流量监控采集 (2)Topbeat 类似linux top的监控采集 (3)Filebeat 文件log的监控采集 (4)WinlogBeat windows系统的log监控采集 (5)自定义beat ,如果上面的指标不能满足需求,elasticsarch公司鼓励开发者 使用go语言,扩展实现自定义的beats指标,只需要按照模板,实现监控的输入,日志,输出等即可 (三)Beats的基本拓扑:

(四)如何安装使用 散仙假设你的ELK集群已经搭建完毕,如果没有,那么请参考这篇文章http://www.iteye.com/blogs/subjects/elk_stack 本篇只介绍一种beats的安装方法,其他几种大同小异,需要监控多少台机器,就安装多少台机器即可 (A)安装初始化包

Java代码

  1. (1)安装依赖库 sudo yum install libpcap
  2. (2)wget https://download.elastic.co/beats/packetbeat/packetbeat-1.1.2-x86_64.rpm
  3. (3)sudo rpm -vi packetbeat-1.1.2-x86_64.rpm
  4. 第二步如果下载速度特别慢,可以自己使用vpn下载完,上传linux,进行安装

(B)配置elasticsearch地址或者Logstash(可选)采集的beats指标

Java代码

  1. sudo vi /etc/packetbeat/packetbeat.yml
  2. 或者,配置logstash作为中转不直接写入elasticsearch

(C)配置elasticsearch模板

Java代码

  1. curl -XPUT 'http://192.168.1.187:9200/_template/packetbeat' -d@/etc/packetbeat/packetbeat.template.json

(D)启动Packetbeat 指标收集进程

Java代码

  1. //启动beats
  2. sudo /etc/init.d/packetbeat start
  3. //关闭
  4. sudo /etc/init.d/packetbeat stop
  5. //测试:
  6. curl http://www.elastic.co/ > /dev/null
  7. curl -XGET 'http://localhost:9200/topbeat-*/_search?pretty'

查看数据采集: (五)安装 kibana dashboards 的模板数据

Java代码

  1. 1, 下载 wget http://download.elastic.co/beats/dashboards/beats-dashboards-1.1.1.zip
  2. 2, 解压 unzip beats-dashboards-1.1.1.zip
  3. 3, 进入 cd beats-dashboards-1.1.1/
  4. 4, 执行 ./load.sh 或者 ./load.sh -url http://192.168.33.60:9200
  5. 将dashboard的模板配置数据存进elasticsarch里面

(六)配置kibana dashboards 1,选择索引模块

2,选择仪表盘

3,选择Packetbeat Dashboard 添加监控指标,就可以看见监控的走势图了,最上面有个搜索框,可以任意搜索你监控的机器节点,最后晒几张比较炫的图,也不算华而不实

原文发布于微信公众号 - 我是攻城师(woshigcs)

原文发表时间:2016-03-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯Bugly的专栏

Android 进程保活招式大全

目前市面上的应用,貌似除了微信和手Q都会比较担心被用户或者系统(厂商)杀死问题。本文对 Android 进程拉活进行一个总结。 Android 进程拉活包括两个...

76970
来自专栏菜鸟程序员

视频会议系统Polycom HDX远程命令执行漏洞分析

24820
来自专栏企鹅号快讯

11个让你吃惊的Linux终端命令

我已经用了十年的linux了,通过今天这篇文章我将向大家展示一系列的命令、工具和技巧,我希望一开始就有人告诉我这些,而不是曾在我成长道路上绊住我。 ? 1. 命...

25990
来自专栏北京马哥教育

IBM技术专家教你“懒惰”Linux管理员的10个关键技巧

作者:Vallard Benincosa, 来源: https://www.ibm.com/developerworks/cn/linux/l-10sysadt...

31350
来自专栏刘君君

Rest Notes-基于网络应用的架构风格

14720
来自专栏数据和云

数据库高可用和分区解决方案-MongoDB 篇

许春植(Luocs) (阿里巴巴高级数据库管理员,7年以上数据库运维管理经验,擅长MySQL、Oracle及MongoDB数据库,目前主要研究并建设Mongo...

99460
来自专栏linux驱动个人学习

调度器增强

到目前为止,我们只考虑了实时系统上的调度。事实上, Linux可以做得更好些。除了支持多个CPU之外,内核也提供其他几种与调度相关的增强功能,在以后几节里会论述...

12910
来自专栏ImportSource

MartinFowler告诉你大数据架构师必备的NoSQL技能-版本戳(上)

-许多NoSQL数据库的批评者老说NoSQL数据库不支持事务。 ? 事务是一个有用的工具,他可以帮助编程者解决一致性的问题。然而,NoSQL的推崇者并不担心这个...

37080
来自专栏Coding+

使用 youtube-dl 下载网络视频

youtube-dl 是一个命令行程序,用于从 YouTube.com 和其他几个网站下载视频。它需要 Python 解释器,版本2.6,2.7或3.2+,它是...

3.3K20
来自专栏企鹅号快讯

入门干货之用DVG打造你的项目主页-Docfx、Vs、Github

由于这三项技术涉及到的要点以及内容较多,希望大家有空能自己挖掘一下更多更深的用法。 0x01、介绍 VS,即VS2017以及以上版本,宇宙最好的IDE,集成了宇...

22660

扫码关注云+社区

领取腾讯云代金券