在ELK+Filebeat搭建日志中心

当前环境

  1. 系统:centos7
  2. docker 1.12.1

介绍

ElasticSearch

Elasticsearch 是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎,使用 Java 语言编写。

Logstash

Logstash 是一个具有实时渠道能力的数据收集引擎,主要用于日志的收集与解析,并将其存入 ElasticSearch中。

Kibana

Kibana 是一款基于 Apache 开源协议,使用 JavaScript 语言编写,为 Elasticsearch 提供分析和可视化的 Web 平台。它可以在 Elasticsearch 的索引中查找,交互数据,并生成各种维度的表图。

Filebeat

引入Filebeat作为日志搜集器,主要是为了解决Logstash开销大的问题。相比Logstash,Filebeat 所占系统的 CPU 和内存几乎可以忽略不计。

架构

不引入Filebeat

a2.png

引入Filebeat

a1.png

[图片上传中...(a2.png-29c2f1-1512116067947-0)]

部署

启动ElasticSearch

docker run -d -p 9200:9200 --name elasticsearch elasticsearch 

启动Logstash

# 1\. 新建配置文件logstash.conf
input {
    beats {
        port => 5044
    }
}

output {
    stdout {
        codec => rubydebug
    }
    elasticsearch {
        #填写实际情况elasticsearch的访问IP,因为是跨容器间的访问,使用内网、公网IP,不要填写127.0.0.1|localhost
        hosts => ["{$ELASTIC_IP}:9200"] 

    }
}

# 2.启动容器,暴露并映射端口,挂载配置文件
docker run -d --expose 5044 -p 5044:5044 --name logstash -v "$PWD":/config-dir logstash -f /config-dir/logstash.conf

启动Filebeat

下载地址:https://www.elastic.co/downloads/beats/filebeat

# 1.下载Filebeat压缩包
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.2.2-linux-x86_64.tar.gz

# 2.解压文件
tar -xvf filebeat-5.2.2-linux-x86_64.tar.gz

# 3.新建配置文件filebeat.yml
filebeat:
  prospectors:
    - paths:
        - /tmp/test.log #日志文件地址
      input_type: log #从文件中读取
      tail_files: true #以文件末尾开始读取数据
output:
  logstash:
      hosts: ["{$LOGSTASH_IP}:5044"] #填写logstash的访问IP

# 4.运行filebeat  
./filebeat-5.2.2-linux-x86_64/filebeat -e -c filebeat.yml

启动Kibana

docker run -d --name kibana -e ELASTICSEARCH_URL=http://{$ELASTIC_IP}:9200 -p 5601:5601 kibana

测试

  1. 模拟日志数据
# 1.创建日志文件
touch /tmp/test.log

# 2.向日志文件中写入一条nginx访问日志
echo '127.0.0.1 - - [13/Mar/2017:22:57:14 +0800] "GET / HTTP/1.1" 200 3700 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36" "-"' >> /tmp/test.log
  1. 访问 http://{$KIBANA_IP}:5601

a3.png

a4.png

总结

本文主要讲述了如何一步步搭建ELK的过程,以及Filebeat在其中所起的作用。 这儿仅仅给大家做了一个演示,要在生产环境中部署时,还需使用数据卷进行数据持久化,容器内存问题也需考虑,elasticsearch与logstash都是相对吃内存的,如果不加以限制,很可能会拖垮你整个服务器。 当然安全因素也是大家不能忽视的,如传输的安全性、端口权限的最小化暴露程度,防火墙设置等。

后续

  1. logstash解析日志格式,如JAVA、nginx、nodejs等日志;
  2. elasticsearch的常用搜索语法;
  3. 通过kibana制作可视化图表;

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏雨过天晴

转 树莓派无显示器安装系统

18520
来自专栏腾讯云数据库团队的专栏

ctsdb对接ELK生态组件及grafana

    腾讯CTSDB是一款分布式、可扩展、支持近实时数据搜索与分析的时序数据库,且兼容ELK生态组件,用户可以非常方便的使用ELK组件与CTSDB对接。ELK...

69380
来自专栏数据和云

最佳实践:巧妙kill CRS进程而不导致主机重启

张大朋(Lunar)Oracle 资深技术专家 Lunar 拥有超过十年的 ORACLE SUPPORT 从业经验,曾经服务于ORACLE ACS部门,现就职于...

401100
来自专栏时序数据库专栏

ctsdb对接ELK生态组件及grafana

    腾讯CTSDB是一款分布式、可扩展、支持近实时数据搜索与分析的时序数据库,且兼容ELK生态组件,用户可以非常方便的使用ELK组件与CTSDB对接。ELK...

53670
来自专栏乐沙弥的世界

Nginx基于IP,端口,域名配置虚拟主机

19920
来自专栏刺客博客

搬迁新服发个教程: ssv3一键脚本

15530
来自专栏派森公园

如何监控Elasticsearch

Elasticsearch是一个开源的分布式文档存储和搜索引擎,可以近乎实时地存储和检索数据结构,它很大程度上依赖于Apache Lucence--一个用Jav...

32330
来自专栏Netkiller

网络设备配置管理与版本控制

网络设备配置管理与版本控制 摘要 2014-12-25 我的系列文档 Netkiller Architect 手札 Netkiller Developer ...

496110
来自专栏云加头条

小程序测试方案初探

对于小程序如何做测试,依然是一头雾水,直到做了不少的项目,积累的一些经验和开源库之后才理清如何做测试,下面将会介绍如何对小程序做 UI 测试和单元测试。

2.3K30
来自专栏Java后端技术栈

Linux操作系统安装ELK stack日志管理系统--(2)Elasticsearch与Kibana的安装与使用

Linux操作系统安装ELK stack日志管理系统–(1)Logstash和Filebeat的安装与使用

12820

扫码关注云+社区

领取腾讯云代金券