专栏首页乌鸦安全ELK7.14.0日志分析系统搭建

ELK7.14.0日志分析系统搭建

ELK介绍 在平时的工作当中,需要一个日志分析系统来分析各种各样的告警信息,而ELK可以简单满足这个需求。

ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。

官方网站:https://www.elastic.co/

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

下载地址:https://www.elastic.co/downloads/elasticsearch

Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用。

下载地址:https://www.elastic.co/downloads/logstash

Kibana 也是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

下载地址:https://www.elastic.co/downloads/kibana

Logstash收集服务器产生的Log,并存放到ElasticSearch集群中,而Kibana则从ES集群中查询数据生成图表,再返回给Browser。

1.环境搭建

Ubuntu 16.0.4 2H4G IP为192.168.11.128

ElasticSearch: 7.14.0

Logstash: 7.14.0

Kibana: 7.14.0

Java: openjdk version "1.8"

ElasticSearch,Logstash和Kibana的版本最好一样

说明:这里为了演示ELK都安装在一台服务器上,服务器内存越大越好。

2.安装JDK

更新一下包

sudo apt update && sudo apt upgrade

查看java信息,发现没有安装java。

java -version

安装java

sudo apt install openjdk-8-jre-headless

可以看到java已安装

3.安装ElasticSearch

ElasticSearch不允许以root用户运行,因为我们当前用户是bolean,所以问题不大。

进入ElasticSearch页面查看安装包信息,选择适合ubuntu的安装包。

https://www.elastic.co/downloads/elasticsearch

下载elasticsearch并解压到当前目录

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.0-linux-x86_64.tar.gz
tar zxvf elasticsearch-7.14.0-linux-x86_64.tar.gz

需要修改elasticsearch的配置文件

Elasticsearch基于Lucene的,而Lucene底层是java实现,因此我们需要配置jvm参数。

vim jvm.options

修改默认配置:-Xms1g -Xmx1g为512m,去掉前面的注释。

编辑elasticsearch.yml

vim elasticsearch.yml

修改以下数据,取消前面的注释。

node.name: node-1   #配置当前es节点名称(默认是被注释的,并且默认有一个节点名
network.host: 0.0.0.0    #绑定的ip,默认只允许本机访问,修改为0.0.0.0后则可以远程访问
http.port: 9200
cluster.initial_master_nodes: ["node-1"]     #这个节点名称就是node.name设置的参数值

在/etc/sysctl.conf文件最后添加一行 vm.max_map_count=655360 添加完毕之后,执行命令sysctl -p。

sudo vim /etc/sysctl.conf

修改/etc/security/limits.conf文件,增加配置信息。

* soft nofile 65536
* hard nofile 65536

在elasticsearch目录下启动elasticsearch,因为在一台服务器上启动多个软件,所以可以用screen新建一个会话窗口。

sudo apt install screen
screen -S  elasticsearch
./bin/elasticsearch

访问http://192.168.11.128:9200/

4.安装kibana

查看安装包信息,选择适合ubuntu的安装包。

https://www.elastic.co/downloads/kibana

下载kibana并解压

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.14.0-linux-x86_64.tar.gz
tar zxvf kibana-7.14.0-linux-x86_64.tar.gz

修改kibana的配置文件kibana.yml

主要修改这两项,取消前面的注释。

server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.11.128:9200"] #设置为你服务器的ip地址

新建一个screen会话,在kibana目录下运行kibana。

screen -S kibana
./bin/kibana

需要先运行elasticsearch才能运行成功

访问http://192.168.11.128:5601/app/home

可以看到有两个会话了,接下来还要安装一个软件。

5.安装logstash

查看logstash页面,选择适合logstash的安装包。https://www.elastic.co/downloads/logstash

下载kibana并解压

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.14.0-linux-x86_64.tar.gz
tar zxvf logstash-7.14.0-linux-x86_64.tar.gz

Logstash管道有两个最基本元素,输入和输出,和一个可选的元素,拦截器。输入插件从一个输入源中消费数据,拦截器插件按照你指定的方式修改数据,然后输出插件将数据写入到一个目的地。

在bin目录新建一个配置文件logstash.conf。配置文件以suricata日志为例,请自行安装suricata,文件内容如下。

input {
  file {
    path => ["/var/log/suricata/eve.json"]   #这里读取suricata的日志
    codec => "json"
    type => "SuricataAlert"
  }
}

output {
  elasticsearch {
    action => "index"
    hosts => ["http://192.168.11.128:9200"]    #是指服务器的ip
    index => "suricata-%{+YYYY.MM.dd}"         #建立索引,记住suricata这个名称
  }
}

新建一个screen会话,启动logstash

screen -S logstash
./logstash -f logstash.conf

成功如下所示

可以看到已经创建了三个会话

如果运行失败可以加个-t参数查看失败原因,这样不会运行,可以帮助排查错误。

./logstash -t -f logstash.conf

在2H2G的云服务器上运行logstash会显示失败,虚拟机运行没问题,初步认为这台云服务配置虚高。

如果带不动修改 jvm.options 文件。修改内容如下。

vim  jvm.options
-Xms200m
-Xmx200m

下图为logstash启动失败页面

6.导入suricata日志

点击manage

选择index patterns,然后选择create。

匹配索引,suricata就是logstash配置文件中的索引,选择下一步。

选择筛选条件,然后点击创建。

接下来点击discover

可以看到suricata日志,但是还不太直观。

下载下面三个json文件并导入。

https://aka.ms/networkwatchersuricatadashboard
https://aka.ms/networkwatchersuricatavisualization
https://aka.ms/networkwatchersuricatasavedsearch

注意导入第二个和第三个的时候需要选择之前创建的索引。

三个文件导入完成后就可以方便的查看日志了

注意查看日志需要设置好时间,不然查看不到。上述只是介绍一下简单的配置方式,方便为了演示,如需配置更复杂的功能,请参考官方说明。

参考链接

https://www.cnblogs.com/weibanggang/p/11589464.html

本文分享自微信公众号 - 乌鸦安全(crowsec),作者:星期五实验室

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-10-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 搭建ELK日志分析系统

    ELK Stack 是Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于...

    菲宇
  • ELK日志分析系统搭建 v6.0.0

    上图包可前往:https://gitee.com/openplus/elkbulid 获取

    用户1409099
  • ELK日志分析系统搭建部署

      日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在各个生产服务器,且开发人员无法登陆生产服务器,这时候就需要一个集中式的日志...

    三杯水Plus
  • 搭建ELK日志分析系统详解

    日志分析是我们运维解决系统故障、发现问题的主要手段。为了可以集中管理多台服务器的日志记录,开源实时日志分析ELK平台应用而生,ELK由Elasticsearch...

    小手冰凉
  • 10 分钟快速搭建 ELK 日志分析系统

    作者:Json、 一、ELK搭建篇 官网地址: https://www.elastic.co/cn/ 官网权威指南: https://www.elastic....

    小小科
  • 10 分钟快速搭建 ELK 日志分析系统

    https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

    猿哥
  • Windows版ELK日志分析系统搭建教程

    解压的绝对路径最好不带中文及空格,打开cmd,进入Elasticsearch的bin目录执行elasticsearch.bat文件

    华创信息技术
  • 快速搭建ELK7.5版本的日志分析系统--搭建篇

    ELK是Elasticsearch、Logstash、Kibana的简称,这三者是核心套件,但并非全部

    用户6641876
  • ELK Stack 日志系统搭建

    ELK Stack是什么? ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合,三...

    小小科
  • CentOS7下搭建开源日志采集分析系统LogAnalyzer

    LogAnalyzer是一款Web界面syslog日志分析工具。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般的syslo...

    yuanfan2012
  • 搭建ELFK日志采集系统

    最近的工作涉及搭建一套日志采集系统,采用了业界成熟的ELFK方案,这里将搭建过程记录一下。

    jeremyxu
  • Elasticsearch+Fluentd+Kafka搭建日志系统

    由于logstash内存占用较大,灵活性相对没那么好,ELK正在被EFK逐步替代.其中本文所讲的EFK是Elasticsearch+Fluentd+Kafka,...

    用户2672162
  • 基于Docker搭建ELK日志搜集处理分析系统

    在github上下载和es版本匹配的ik中文分词器 https://github.com/medcl/elasticsearch-analysis-ik/rel...

    时间静止不是简史
  • 使用docker五步搭建ELK日志收集分析系统

    字母哥博客
  • AWStats日志分析系统

    AWStats是一款功能强大且功能强大的免费工具,可以图形方式生成高级Web,流媒体,ftp或邮件服务器统计信息。此日志分析器用作CGI或命令行, 并在几个图形...

    惨绿少年
  • Spring Cloud + ELK 统一日志系统搭建

    ELK 是 Elasticsearch、Logstash、Kibana 的简称,这三者是核心套件,但并非全部。

    大数据真好玩
  • Filebeat5+Kafka+ELK Docker搭建日志系统

    纯粹是处于个人爱好,各种技术只要跟 Docker 搭边就倾爱它的 Docker 镜像版本。本文除了filebeat agent是二进制版本直接安装在应用机上,与...

    曲水流觞
  • ELK7.x日志系统搭建 1. elk基础搭建

    什么是 ELK ? 通俗来讲, ELK 是由 Elasticsearch 、 Logstash 、 Kibana 三个开源软件组成的一个组合体,这三个软件当中,...

    憧憬博客
  • es集群+elk搭建+kafka搭建分布式日志收集系统

    如果没有输入信息表示没有安装。 如果安装可以使用rpm -qa | grep java | xargs rpm -e --nodeps 批量卸载所有带有Jav...

    黎明大大

扫码关注云+社区

领取腾讯云代金券