在分布式系统中,由于节点服务会部署多台,一旦出现线上问题需要通过日志分析定位问题就需要登录服务器一台一台进行日志检索,非常不便利,这时候就需要用到EFK日志收集工具。
在应用服务端部署Filebeat,将我们打印到日志文件中的日志发送到Logstash中,在经过Logstash的解析格式化后将日志发送到ElasticSearch中,最后通过Kibana展现出来。EFK基础版的架构如下:
本文主要是使用docker和docker-Compose部署EFK的基础环境,选择7.5.1作为EFK组件版本。
当然了如果大家对docker
,docker-compose
不是很熟悉的话可以翻看我之前为大家准备的两篇文章:
实在不想使用docker部署的话也可以下载对应的安装包然后手动部署,配置方式基本一样。
安装elasticsearch之前先配置如下的系统变量
/etc/sysctl.conf
,在最后追加如下配置
vm.max_map_count = 655360
/etc/security/limits.conf
,增加如下配置* soft memlock unlimited
* hard memlock unlimited
* hard nofile 65536
* soft nofile 65536
/etc/security/limits.d/20-nproc.conf
,增加如下配置* soft nproc 4096
root soft nproc unlimited
docker run --rm --name es -p9200:9200 -p9300:9300 -e discovery.type=single-node elasticsearch:7.5.1
docker cp fbce586c8a56:/usr/share/elasticsearch/config/elasticsearch.yml /app/elk/elasticsearch/conf/elasticsearch.yml
cluster.name: "elk-cluster"
network.host: 0.0.0.0
bootstrap.memory_lock: true
discovery.type: single-node
mkdir -p /app/elk/elasticsearch/logs
mkdir -p /app/elk/elasticsearch/data
chmod -R 777 /app/elk/elasticsearch/logs
chmod -R 777 /app/elk/elasticsearch/data
docker stop fbce586c8a56
docker run --rm --name logstash -p5044:5044 -p9600:9600 logstash:7.5.1
docker cp 5adb0971bb0f:/usr/share/logstash/config /app/elk/logstash
mkdir -p /app/elk/logstash/data
chmod -R 777 /app/elk/logstash/data
cd /app/elk/logstash/config
cp logstash-sample.conf logstash.conf
修改logstash.conf,配置output
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.
input {
beats {
port => 5044
}
}
output {
elasticsearch {
hosts => ["http://172.31.0.207:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
#user => "elastic"
#password => "changeme"
}
}
暂时修改一下ES的访问路径即可。
docker stop 5adb0971bb0f
docker run --rm --name kibana -p5601:5601 kibana:7.5.1
docker cp f21f0f9e0259:/usr/share/kibana/config/kibana.yml /app/elk/kibana/conf/kibana.yml
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://172.31.0.207:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: zh-CN
设置i18n.locale: zh-CN
属性后会对kibana进行汉化,这样便于操作,主要还是我英语不太好~
docker stop f21f0f9e0259
经过上面的准备,我们可以编写docker-compose
文件,方便我们对容器进行编排,一键启动。有了之前的基础,我们很容易编写出对应的yml文件,编写后的内容如下:
version: "3"
services:
elasticsearch:
image: docker.io/elasticsearch:7.5.1
container_name: elasticsearch
environment:
- "ES_JAVA_OPTS=-Xms4096m -Xmx4096m -Xmn1300m"
volumes:
- /app/elk/elasticsearch/conf/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
- /app/elk/elasticsearch/data:/usr/share/elasticsearch/data:rw
- /app/elk/elasticsearch/logs:/usr/share/elasticsearch/logs:rw
ports:
- "9200:9200"
- "9300:9300"
restart: always
kibana:
image: docker.io/kibana:7.5.1
container_name: kibana
volumes:
- /app/elk/kibana/conf/kibana.yml:/usr/share/kibana/config/kibana.yml
ports:
- "5601:5601"
depends_on:
- elasticsearch
restart: always
logstash:
image: logstash:7.5.1
container_name: logstash
command: logstash -f /usr/share/logstash/config/logstash.conf
volumes:
- /app/elk/logstash/config:/usr/share/logstash/config
- /app/elk/logstash/data:/usr/share/logstash/data
ports:
- "9600:9600"
- "5044:5044"
depends_on:
- elasticsearch
restart: always
将docker-compose文件上传至服务器,启动docker服务
docker-compose -f elk.yml up -d
启动完成后访问kibana地址http://172.31.0.207:5601/
验证是否正常访问
我们刚刚部署的elk环境是不需要密码就可以登录kibana的,这样谁都可以访问而且可以更改数据。所以我们需要给kibana加个密码,必须要登录才可以进行操作。
主要是利用elasticsearch自带的xpack作为权限验证功能。操作步骤如下:
/app/elk/elasticsearch/conf/elasticsearch.yml
,开启权限验证xpack.security.enabled: true
elasticsearch
服务
docker-compose -f elk.yml restart elasticsearch
docker exec -it elasticsearch /bin/bash
cd /usr/share/elasticsearch/bin
./elasticsearch-setup-passwords interactive
file
/app/elk/kibana/conf/kibana.yml
elasticsearch.username: "elastic"
elasticsearch.password: "xxxxxx"
docker-compose -f elk.yml restart kibana
至此我们顺利给EFK加上了安全认证,可以放心在生产环境部署使用了!