专栏首页WalkingCloudCentOS7下ELK日志分析平台的简单搭建步骤

CentOS7下ELK日志分析平台的简单搭建步骤

1、首先安装JDK环境

yum install -y java-11-openjdk java-11-openjdk-devel

安装完成后设置环境变量

[root@vm ~]# vi /etc/profile.d/java11.sh

[root@vm ~]# cat /etc/profile.d/java11.sh

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-11.0.4.11-0.el7_6.x86_64

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

[root@vm ~]# source /etc/profile.d/java11.sh

如果还装有其它版本的JDK,可使用alternatives --config java进行选择切换

java -version验证JDK环境是否配置成功

2、安装Elasticsearch

编辑Elasticsearch的yum源仓库配置文件

[root@vm ~]# vi /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-7.x]

name=Elasticsearch repository for 7.x packages

baseurl=https://artifacts.elastic.co/packages/7.x/yum

gpgcheck=1

gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch

enabled=1

autorefresh=1

type=rpm-md

编辑完成后,yum install -y elasticsearch进行安装

由于elasticsearch的yum源站点在国外,yum下载安装耗时太长,可以直接从官网下载Linux RPM安装包

先提前下载好ELK相关RPM包

elasticsearch-7.3.0-x86_64.rpm

logstash-7.3.0.rpm

kibana-7.3.0-x86_64.rpm

filebeat-7.3.0-x86_64.rpm

packetbeat-7.3.0-x86_64.rpm

先将以上ELK相关RPM安装包上传到root目录下,接下来rpm -ivh进行安装elasticsearch-7.3.0并设置elasticsearch服务开机自启动,启动elasticsearch服务

rpm -ivh elasticsearch-7.3.0-x86_64.rpm

systemctl enable elasticsearch.service

systemctl start elasticsearch.service

验证elasticsearch服务是否正常运行在工作

3、安装Kibana

rpm -ivh kibana-7.3.0-x86_64.rpm

编辑kibana.yml配置文件

vi /etc/kibana/kibana.yml修改如下两处,取消#注释并进行如下修改

server.host: "0.0.0.0"

elasticsearch.hosts: ["http://localhost:9200"]

[root@vm ~]# firewall-cmd --add-port=5601/tcp --permanent

[root@vm ~]# firewall-cmd --reload

[root@vm ~]# systemctl start kibana

[root@vm ~]# systemctl enable kibana

将kibana的服务端口5601在firewalld防火墙上放通,并设置kibana服务开机自启动,启动kibana服务

接下来打开http://192.168.31.81:5601,验证是否正常打开Kibana的界面

4、安装logstash

rpm -ivh logstash-7.3.0.rpm

例如创建一个logstash从系统安全日志/var/log/secure中收集ssh登录失败日志的配置

[root@vm ~]# cd /etc/logstash/conf.d/

[root@vm conf.d]# vi sshd.conf

input {

file {

type => "seucure_log"

path => "/var/log/secure"

}

}

filter {

grok {

add_tag => [ "sshd_fail" ]

match => { "message" => "Failed %{WORD:sshd_auth_type} for %{USERNAME:sshd_invalid_user} from %{IP:sshd_client_ip} port %{NUMBER:sshd_port} %{GREEDYDATA:sshd_protocol}" }

}

}

output {

elasticsearch {

index => "sshd_fail-%{+YYYY.MM}"

}

}

修改/var/log/secure的组以及文件权限,设置logstash服务开机自启动,启动logstash服务

[root@vm conf.d]# chgrp logstash /var/log/secure

[root@vm conf.d]# chmod 640 /var/log/secure

[root@vm conf.d]# systemctl start logstash

[root@vm conf.d]# systemctl enable logstash

5、并模拟sshd登录失败,生成ssh登录失败的日志

验证elasticsearch对应的sshd登录失败日志的索引是否生成

curl localhost:9200/_cat/indices?v

curl localhost:9200/sshd_fail-2019.08/_search?pretty

可以看出已经有索引生成,接下来在Kibana上进行该索引的添加

下面就可以看到sshd登录失败的大数据分析效果了

CentOS7下ELK日志分析平台的简单搭建就介绍到这里,后面再介绍filebeat和packetbeat采集器的使用

本文分享自微信公众号 - WalkingCloud(WalkingCloud2018),作者:yuanfan2012

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CentOS6.5下升级openssl-1.1.1g与openssh-8.3p1

    CentOS6.5版本升级openssl-1.1.1g与openssh-8.3p1

    yuanfan2012
  • SecureCRT或Mac终端中使用SSH Agent-Forwarding

    下面介绍如何在SecureCRT中使用SSH Agent-Forwarding功能

    yuanfan2012
  • 分布式块设备复制技术DRBD的简单实践

    DRBD(Distributed Replicated Block Device)分布式复制块设备是基于软件的无共享复制存储解决方案,可镜像主机之间的块设备(硬...

    yuanfan2012
  • 用python实现决策树ID3算法,对隐形眼镜类型预测

    本节讲解如何预测患者需要佩戴的隐形眼镜类型。 1、使用决策树预测隐形眼镜类型的一般流程 (1)收集数据:提供的文本文件(数据来源于UCI数据库) (2)准备数据...

    机器学习AI算法工程
  • 使用RMAN复制恢复开发库环境

    最近为了不影响开发库的使用,打算复制创建一个备库,定时更新,防止开发库不能使用的情况下,可以临时使用备库,不影响进度。

    bisal
  • LintCode N皇后问题题目分析代码

    每个解决方案包含一个明确的n皇后放置布局,其中“Q”和“.”分别表示一个女王和一个空位置。

    desperate633
  • 5G小科普(漫画版,So easy!)

    SDNLAB
  • 从前端技术到体验科技——蚂蚁金服SEE Conf 2018分享[含分享现场视频]

    用户1687375
  • CentOS6.5升级自带glibc-2.12到glibc-2.15的过程解析(无需重启)

    在开发时项目所依赖的包需要更高版本的glibc库支持, 而Centos6.5 中glibc默认版本为2.12, 这样调试时可能会遇到报错。但如果不小心把动态库中...

    孙杰
  • Shell中4个网络相关命令的使用技巧

    豌豆贴心提醒,本文阅读时间7分钟 这篇文章中我介绍几个非常实用的和网络相关的命令 ifconfig 这个命令与Windows的“ipconfig”作用一致,用...

    小小科

扫码关注云+社区

领取腾讯云代金券