写在前面
由于公司项目较多,所部署服务产生的日志也较多,以往查看服务器日志只能通过xshell、putty等SSH工具分别连接每台服务器,然后进入到各个服务器,执行Linux命令查看日志,这样可能会带来以下问题:
刚好前段时间学习和研究过ELK日志分析系统的相关知识,不仅可以用来分析Nginx、Apache、MySQL等工具和服务的日志,还可以用于分析Springboot项目生成的服务日志,另外结合Metricbeat工具也可以用来监控服务器内存、CPU、磁盘等相关指标。于是在公司测试环境的服务器上尝试搭建了一套ELK,探索能否解决以上日志查看面临的痛点问题。
在正式开始前,先简单介绍一下本篇文章大纲:
一、什么是ELK
ELK 是elastic公司提供的一套完整的日志收集、展示解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana:
在ELK中beats是用于数据采集的工具,相较于logstash,beats是更轻量级的工具。Beats 平台集合了多种单一用途数据采集器,这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向 Logstash 或 Elasticsearch 发送数据。Beats平台提供了如下的几种常见的具体收集日志的工具:
工具名称 | 对应解释 |
---|---|
Filebeat | 日志文件 |
Metricbeat | 指标 |
Packetbeat | 网络数据 |
Winlogbeat | windows事件日志 |
Auditbeat | 审计数据 |
Heartbeat | 运行心跳监控 |
二、ELK收集Springboot项目日志的实现原理
Springboot服务产生的日志,会将日志数据保存到磁盘中的.log文件中,因此需要在各个服务所在的服务器上分别部署轻量级的日志收集工具filebeat,实现原理如下:
当然,也可以直接将日志传输给ES,但是会面临以下弊端:
三、部署方案
注意事项:
服务器 | 服务 | 默认端口号 | 作用 | 备注 |
---|---|---|---|---|
192.168.16.21 | Elasticsearch | 9200 | 日志存储、日志查询、日志解析 | |
192.168.16.22 | Logstash | 5044 | 日志收集、日志过滤 | |
192.168.16.4(外网地址:xx.xxx.xx.xx) | Kibana | 5601 | 可视化展示 | 如需外网访问,Kibana需部署在外网可以访问的服务器上 |
192.168.16.6192.168.16.11...... | Filebeat | 日志收集 | 各个需要采集日志的服务器上都部署 |
四、部署过程
1.安装elasticsearch
1)创建elk用户
elasticsearch无法在root用户下运行,因此需要创建一个新用户
useradd elk
passwd elk
2)更改elasticsearch目录所属用户
chown -R elk:elk elasticsearch-7.8.0 # -R 参数表示递归子目录
3)配置elasticsearch
编辑config目录下的配置文件:vi elasticsearch.yml
# 按照如下内容放开注释或修改
cluster.name: my-application
node.name: node-1
path.data: /home/ELK/elasticsearch-7.8.0/data
path.logs: /home/ELK/elasticsearch-7.8.0/logs
bootstrap.memory_lock: false
network.host: 192.168.16.21
http.port: 9200
# 末尾增加两行内容,否则会报错
bootstrap.system_call_filter: false
cluster.initial_master_nodes: ["node-1"]
4)常见报错及解决
报错如上图所示,解决办法:
① 切换到root用户,修改配置文件sysctl.conf:vi /etc/sysctl.conf,在末尾行添加内容:
vm.max_map_count=262144
② 保存后执行命令:sysctl -p,使配置生效
报错如上图所示,解决办法:
①切换到root用户,修改配置文件limits.conf:vi /etc/security/limits.conf,在末尾行添加内容:
* soft nofile 65536
* hard nofile 131072
② 再次启动后,浏览器访问:http://ip:9200/ 出现以下页面返回则表示启动成功
原因:(重复启动)线程被占用,已存在es线程,且正在运行中
如上图所示,脚本启动后只有如上提示,不加载任何模块,解决办法:
① 再次新建一个用户,如elastic:useradd elastic
② 将elasticsearch-7.8.0更改属组:chown -R elastic:elastic elasticsearch-7.8.0
③ 切换至elastic用户:su elastic
④ 启动elasticsearch
5)配置脚本启动方式
① 确认启动无问题后,先暂时Ctrl+c关闭服务,创建后台启动脚本:startup.sh,内容如下:
/home/ELK/elasticsearch-7.8.0/bin/elasticsearch -d # -d 参数为后台启动
② 赋予startup.sh执行权限:chmod +x startup.sh
2.安装logstash
logstash可以用root用户运行,logstash也是需要在jdk1.8以上版本运行,所以可以不用像elasticsearch那样必须用新建一个elk用户
① 将logstash-7.8.0.tar.gz通过xftp等工具复制到指定服务器
② 解压logstash-7.8.0.tar.gz:tar -xvf logstash-7.8.0.tar.gz
③ 创建启动脚本:startup.sh,内容如下:
nohup /home/ELK/logstash-7.8.0/bin/logstash -f config.conf >/dev/null 2>&1 &
④ 赋予脚本执行权限:chmod +x startup.sh
⑤ 通过脚本启动:./startup.sh
出现如下图所示提示,表示启动成功:
3.安装Kibana
1)修改配置文件kibana.yml
server.port: 5601
server.host: "192.168.16.4"
elasticsearch.hosts: ["http://192.168.16.21:9200"]
kibana.index: ".kibana"
i18n.locale: "zh-CN"
2)创建启动脚本startup.sh
startup.sh内容如下,注意事项:
① 一定要加 --allow-root参数,允许root用户允许,否则会报错
② 创建完赋予用户执行权限:chmod u+x startup.sh
# startup.sh
nohup /home/ELK/kibana-7.8.0/bin/kibana --allow-root
3)启动kibana
使用./startup.sh启动
4)浏览器访问
http://ip:5601
5.部署并配置Filebeat
① 将filebeat-7.8.0-linux-x86_64.tar.gz文件复制到需要采集日志的各个服务器上
② 解压缩文件:tar -xvf filebeat-7.8.0-linux-x86_64.tar.gz
③ 进入解压后的目录,编辑filebeat.yml,内容如下
# ============================== Filebeat inputs ===============================
filebeat.inputs:
# ==========RS log==========
# 定义要采集项目的log标签,如rs项目debug类型的日志,标签可以设为:rs_debug,并声明log路径
- type: log
enabled: true
tags: ["rs_debug"]
paths:
- /home/rs/logs/debug.log
# 采集同一台服务器上的多个服务,使用 - 进行分隔,如mn项目的error类型的日志
- type: log
enabled: true
tags: ["mn_error"]
paths:
- /home/mn/logs/error.log
# ============================== Filebeat modules ==============================
filebeat.config.modules:
# Glob pattern for configuration loading
path: ${path.config}/modules.d/*.yml
# Set to true to enable config reloading
reload.enabled: false
# ======================= Elasticsearch template setting =======================
setup.template.settings:
index.number_of_shards: 1
index.number_of_replicas: 0
# Kibana 配置,Kibana所在服务器的内网地址
setup.kibana:
host: "192.168.16.4:5601"
# ================================== Outputs ===================================
# Logstash Output 注意:Logstash和Elasticsearch选择一个作为日志输出即可,不能同时选择
output.logstash:
hosts: ["192.168.16.22:5044"]
# Processors 配置,保持默认
processors:
- add_host_metadata: ~
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
6.配置Logstash
新建一个config.conf文件,主要逻辑:先从logstash中检索日志是否存在指定的标签名(前面在Filebeat中定义的标签名,与此处对应),若存在,则将日志进行重新命名再传递给下一个环节ES
具体内容如下:
input {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}"}
}
geoip {
source => "clientip"
}
}
output {
if "rs_debug" in [tags] {
elasticsearch {
hosts => [ "192.168.16.21:9200" ]
index => "[test_rs_debug_log]"
}
}
if "mn_error" in [tags] {
elasticsearch {
hosts => [ "192.168.16.21:9200" ]
index => "[mn_error_log]"
}
}
}
7.Kibana中创建索引
① 打开索引模式
左上角菜单--Management--Stack Management--Kibana--索引模式
② 输入索引名称,匹配具体日志
输入具体的名称后,可以匹配到某个日志,注意:输入的名称需与中括号及中括号内的内容完全匹配,“下一步”按钮才能被点亮,否则无法进入下一步,后半部分日期部分可以不用输入
③ 配置索引
选择一个时间字段,如果日志数据中本身没有,可以使用@timestamp
④ 进入日志面板
左上角菜单-Kibana-Discover,进入Kibana日志面板
五、Kibana日志面板使用
左上角菜单--Kibana--Discover,日志面板中:
1.定制列表字段
默认的日志中有大量字段信息是冗余的,可以通过左侧添加message字段来进行过滤
2.KSQL语句筛选
语法:
例如:我想筛选指定时间段内的冒烟测试执行的相关接口日志,那么就可以通过【message: * 冒烟测试】来进行筛选:
3.切换项目日志
点开索引列表,在列表中手动切换索引即可查看对应项目的日志:
六、ELK日志监控平台优缺点分析
优点:
缺点:
七、小结