ELK、Filebeat环境搭建

简介

ELK为Elasticsearch、Logstash、Kibana简称,Filebeat为日志传输工具

  • Elasticsearch The Heart of the Elastic Stack,Elasticsearch是一个基于分布式RESTful风格的搜索和分析引擎,能够解决越来越多的用例,作为Elastic Stack的核心,它集中存储数据,以便预期发现意外情况
  • Logstash Logstash是一个开源的服务器端数据处理管道,它可以同时从多个源中提取数据,对其进行转换,然后将其发送到您最喜欢的"存储"
  • Kibana Your Window into the Elastic Stack,Kibana用来可视化Elasticsearch数据
  • Filebeat 轻量级的日志、文件传输工具,filebeat会使用一个反压力敏感(backpressure-sensitive)的协议来解释高负荷的数据量,当数据处理繁忙时,Filebeat放慢它的读取速度.一旦压力解除,将恢复到原来的速度,继续传输数据 简单的来说,Filebeat用来检测数据,把数据发送给Logstash,Logstash是具备实时传输数据的管道,将数据从管道的输入端传输到输出端,而且可以根据需要过滤、处理数据,Elasticsearch 是一个分布式搜索引擎,负责数据的存储、检索、分析,Kibana提供了可视化的界面,用于数据的可视化操作.

安装

从https://www.elastic.co/products官网上下载最新的安装包

  • 配置Elasticsearch 修改文件/elasticsearch-6.3.2/config/elasticsearch.yml:
cluster.name: lios-boot-rest
node.name: lios-boot
path.data: /Users/wenchao.wang/dev/elk/logs
path.logs: /Users/wenchao.wang/dev/elk/logs
network.host: 127.0.0.1
http.port: 9200

启动服务: ./elasticsearch-6.3.2/bin/elasticsearch

  • 配置Logstash 在/logstash-6.3.2/config目录下新建配置文件filebeat-to-es.conf:
input {
beats{
    type => "lios-boot-rest"
    host => "127.0.0.1"
    port => 5044
  }
}
output {
 elasticsearch{
 hosts => ["127.0.0.1:9200"]
 index => "lios-boot-rest-%{+YYYY.MM.dd}"
 }
}

启动服务: ./logstash-6.3.2/bin/logstash-f./filebeat-to-es.conf

  • 配置kibana
server.port: 5601
server.host: "127.0.0.1"
elasticsearch.url: "http://127.0.0.1:9200"
kibana.index: ".kibana"

启动服务: ./kibana-6.3.2-darwin-x86_64/bin kibana

  • 配置filebeat
filebeat.inputs:
- type: log
  # Change to true to enable this input configuration.
  enabled: true
  # Paths that should be crawled and fetched. Glob based paths.
  paths:
  - /data/lios/logs/apps/lios-boot-rest/*.log
  tags: ["lios-boor-rest-log"]
  document_type: lios-boot-rest
  spool_size: 1024
  idle_timeout: "3s"
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  # Period on which files under path should be checked for changes
  #reload.period: 10s
setup.template.settings:
  index.number_of_shards: 3
#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["127.0.0.1:5044"]

启动filebeat服务

mac上启动方式
sudo chown root filebeat.yml
sudo ./filebeat -e -c filebeat.yml -d "publish"

发现filebeat已经向logstash发送数据了:

可视化

网址中输入 http://localhost:5601/

创建索引:

创建索引成功后,发现已经可以看到数据了:

原文发布于微信公众号 - 后端沉思录(LiosWangs)

原文发表时间:2018-08-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏老马寒门IT

Postman 接口测试神器

官方 github 地址: https://github.com/postmanlabs

48210
来自专栏运维

ELK Stack最新版本测试一安装篇

filebeat1.0.0-rc2  logstash2.0.0-1  elasticsearch2.0.0  kibana4.2

13720
来自专栏腾讯云Elasticsearch Service

当Elasticsearch遇见Kafka--Logstash kafka input插件

Elasticsearch作为当前主流的全文检索引擎,除了强大的全文检索能力和高扩展性之外,对多种数据源的兼容能力也是其成功的秘诀之一。而Elasticsear...

1.5K60
来自专栏Youngxj

免流集成破解版授权 一键备份数据库 网页端防DDOS脚本 等21个集成脚本

1.3K50
来自专栏zhisheng

ELK 实时日志分析平台环境搭建

简单介绍 ELK(ElasticSearch, Logstash, Kibana),三者组合在一起搭建实时的日志分析平台,目前好多公司都是这套! Elastic...

322110
来自专栏十月梦想

phpstudy配置多端口虚拟主机

找到phpstudy安装目录进入apache文件夹下的conf文件夹打开vhost.conf,新增一下配置

20740
来自专栏码生

react-navigation tabBar 自动跳转(代码实现跳转)

需要 在 tabBar 中的第二个 界面(tab2)中的一个按钮,点击之后跳转到 tabBar 的第一个界面

28220
来自专栏技术翻译

分析R中的Elasticsearch数据

您可以在任何可以安装R和Java的计算机上使用纯R脚本和标准SQL访问Elasticsearch数据。您可以使用适用于Elasticsearch的CData J...

25030
来自专栏运维小白

Linux基础(day42)

11.14/11.15 Apache和PHP结合 配置httpd支持php目录概要 httpd主配置文件/usr/local/apache2.4/conf/ht...

23470
来自专栏CaiRui

LAMP=Linux+Apache+Mysql+Php

一、当前互联网主流web服务 静态服务: 1.apache---中小型静态web服务的主流,web服务器中的老大哥 2.nginx---大型新型网络静态web服...

306100

扫码关注云+社区

领取腾讯云代金券