专栏首页Laoqi's Linux运维专列kibana日志管理与配置

kibana日志管理与配置

131上执行

在logstash的那台机器上面查看下端口

# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1670/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1897/master         
tcp6       0      0 192.168.59.138:9200    :::*                    LISTEN      2018/java           
tcp6       0      0 :::10514                :::*                    LISTEN      2077/java           
tcp6       0      0 192.168.59.138:9300    :::*                    LISTEN      2018/java           
tcp6       0      0 :::22                   :::*                    LISTEN      1670/sshd           
tcp6       0      0 ::1:25                  :::*                    LISTEN      1897/master         
tcp6       0      0 127.0.0.1:9600          :::*                    LISTEN      2077/java 

不难发现 可以看到127.0.0.1:9600 这个端口,并不是配置的IP地址。

# vim /etc/logstash/logstash.yml
//修改为如下:
http.host: "192.168.161.162"

# systemctl restart logstash

# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1670/sshd           
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1897/master         
tcp6       0      0 192.168.161.162:9200    :::*                    LISTEN      2018/java           
tcp6       0      0 :::10514                :::*                    LISTEN      2215/java           
tcp6       0      0 192.168.161.162:9300    :::*                    LISTEN      2018/java           
tcp6       0      0 :::22                   :::*                    LISTEN      1670/sshd           
tcp6       0      0 ::1:25                  :::*                    LISTEN      1897/master         
tcp6       0      0 192.168.161.162:9600    :::*                    LISTEN      2215/java  

浏览器访问192.168.59.131:5601,到kibana配置索引

创建索引
创建筛选器–根据时间筛选

再次返回到 Discover

例如再次创建一个索引:
# vim /etc/logstash/conf.d/system.conf
input {
  file {
    path => "/var/log/messages"     #日志路径
    type => "systemlog"      #类型
    start_position => "beginning"    #logstash 从什么位置开始读取文件数据,默认是结束位置,也就是说 logstash 进程会以类似 tail -F 的形式运行。如果你是要导入原有数据,把这个设定改成"beginning",logstash 进程就从头开始读取,类似 less +F 的形式运行。
    stat_interval => "2"  #logstash 每隔多久检查一次被监听文件状态(是否有更新) ,默认是 1 秒。
  }
}

output {
  elasticsearch {
    hosts => ["192.168.59.131:9200"]      #指定hosts
    index => "logstash-systemlog-%{+YYYY.MM.dd}"    #索引名称
  }

}
/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/system.conf -t     #检测配置文件是否有语法错误

WARNING: Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash. You can specify the path using --path.settings. Continuing using the defaults
Could not find log4j2 configuration at path /usr/share/logstash/config/log4j2.properties. Using default config which logs errors to the console
[INFO ] 2018-03-14 12:00:19.746 [main] scaffold - Initializing module {:module_name=>"fb_apache", :directory=>"/usr/share/logstash/modules/fb_apache/configuration"}
[INFO ] 2018-03-14 12:00:19.765 [main] scaffold - Initializing module {:module_name=>"netflow", :directory=>"/usr/share/logstash/modules/netflow/configuration"}
[INFO ] 2018-03-14 12:00:19.840 [main] writabledirectory - Creating directory {:setting=>"path.queue", :path=>"/usr/share/logstash/data/queue"}
[INFO ] 2018-03-14 12:00:19.843 [main] writabledirectory - Creating directory {:setting=>"path.dead_letter_queue", :path=>"/usr/share/logstash/data/dead_letter_queue"}
[WARN ] 2018-03-14 12:00:20.563 [LogStash::Runner] multilocal - Ignoring the 'pipelines.yml' file because modules or command line options are specified
Configuration OK
[INFO ] 2018-03-14 12:00:22.085 [LogStash::Runner] runner - Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstas
by the way:
# ll /var/log/messages 
-rw-------. 1 root root 791209 12月 27 11:43 /var/log/messages
#这里可以看到该日志文件是600权限,而elasticsearch是运行在elasticsearch用户下,这样elasticsearch是无法收集日志的。所以这里需要更改日志的权限,否则会报权限拒绝的错误。在日志中查看/var/log/logstash/logstash-plain.log 是否有错误。

# chmod 644 /var/log/messages

# systemctl restart logstash

稍微等一下,就会看到另外一个索引出来:

按照刚刚相同的步骤继续操作即可!

在Discover界面去查看日志:

具体分析下:

看下系统内的日志:

less /var/log/messages

分下一下kibana收集的日志:

当然具体的图像成形设置可参考如下:

https://www.extlight.com/2017/10/31/Kibana-基础入门/

当然我本次安装的全系列为 E+L+K v6.2.2

新增的功能相当强大,近期正在学习K8S相关内容。后期一定会配合kibana整起来!

使用filebeat采集日志

自从配置了logstash我们可以看到,页面的卡顿和资源的消耗还是蛮大的。下面我们可以尝试使用filebeat来解决这个问题。

在另外一台node上面安装filebeat。

# ls
filebeat-6.2.2-linux-x86_64.tar.gz

# rpm -ivh filebeat-6.2.2-x86_64.rpm 
编辑配置文件
vim /etc/filebeat/filebeat.yml //增加或者更改
filebeat.prospectors:
- input_type: log 
enabled: true
  paths:
    - /var/log/*.log
output.elasticsearch:
  hosts: ["192.168.59.131:9200"]

启动服务:

# systemctl start filebeat

# ps aux | grep filebeat
root      2141  3.3  1.5 372612 15304 ?        Ssl  22:24   0:00 /usr/share/filebeat/bin/filebeat -c /etc/filebeat/filebeat.yml -path.home /usr/share/filebeat -path.config /etc/filebeat -path.data /var/lib/filebeat -path.logs /var/log/filebeat

再次返回到kibana:

已经生成了filebeat的日志了。

这样就成功的收集到了我们所需的指定日志!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 安装配置kibana+logstash

    老七Linux
  • LVS工作总结之原理篇–DR模式

    老七Linux
  • Kubernetes 1.8.6 集群部署–部署Web UI界面(七)

    老七Linux
  • 怎么改变证件照的底色

    证件照除了用于证件外,报名或是投递简历也是需要的,如果此时恰好没有携带电子版照片,附近又没有合适的照相馆该怎么办呢?用手机来拍不就好了,用下边的办法还能换底色。

    互动20
  • P3709 大爷的字符串题(50分)

    题目背景 在那遥远的西南有一所学校 /*被和谐部分*/ 然后去参加该省省选虐场 然后某蒟蒻不会做,所以也出了一个字符串题: 题目描述 给你一个字符串a,每次询问...

    attack
  • 201604-2 试题名称: 俄罗斯方块

    注意:先分析问题,不要急着分类讨论,你可能分类讨论上百行还不如仔细分析后写几十行。

    种花家的奋斗兔
  • 史上最全python字符串操作指南

    日常编码中,大家会发现,太多时候我们需要对数据进行处理,而这数据不管是数组、列表、字典,最终都逃不开字符串的处理。 所以今天要来跟大家发散的聊聊字符串! 估计很...

    1480
  • C++11新特性——range for

    很多编程语言都有range for语法功能,自C++11起,终于将这个重要功能加入C++标准中。range for语句,可以方便的遍历给定序列中的每个元素并对其...

    Dabelv
  • 清华、中科大实现了量子版本的GAN,平均保真度98.8%

    近年来,量子机器学习引起了极大的关注。研究者提出了很多理论上能实现指数级加速的算法,有些已经在原理验证实验中得到了证明。然而,多数场景中的输入数据集都是经典的而...

    机器之心
  • 15:整理药名

    15:整理药名 总时间限制: 1000ms 内存限制: 65536kB描述 医生在书写药品名的时候经常不注意大小写,格式比较混乱。现要求你写一个程序将医生书...

    attack

扫码关注云+社区

领取腾讯云代金券