rsyslog+loganalyzer日志服务器部署记录

日志功能对于操作系统是相当重要的,在日常运维工作中,无论是系统还是应用等出了任何问题,我们首先想到的便是分析日志,查找问题原因。自从CentOS 6系统开始,CentOS便开始使用rsyslog做为日志收集服务了,相对于之前的syslog它能够支持多线程,数据库存储,支持更多了传输协议等等优点。之前介绍了Linux下rsyslog日志收集服务环境部署记录,下面再结合LogAnalyzer进行部署说明。

LogAnalyzer则是一款基于 PHP 开发的 syslog 日志和其他网络事件数据的 Web 前端。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。将rsyslog和loganalyzer整合起来,能够搭建一个日志收集管理服务器,用来应对小型的日志数据收集分析。下面以rsyslog收集远程服务器上的nginx日志为例进行说明:

在192.168.10.239服务器上部署rsyslog+loganalyzer环境,用于收集远程服务器192.168.10.200服务器上的nginx日志,其中:
192.168.10.239是centos7.2系统,主机名为rsyslog。
192.168.10.200是centos6.8系统,主机名为gitlab-test,nginx日志为/var/opt/gitlab/nginx/logs/gitlab_access.log。
192.168.10.239是rsyslog的服务端,作为日志的接收端。
192.168.10.200是rsyslog的客户端,作为日志的推送短。

下面说下部署过程:
一、rsyslog客户端部署(192.168.10.200)
0)关闭防火墙和selinux
[root@gitlab-test ~]# /etc/init.d/iptables stop
[root@gitlab-test ~]# chkconfig iptables off
[root@gitlab-test ~]# setenforce 0
[root@gitlab-test ~]# cat /etc/sysconfig/selinux |grep "SELINUX=disabled"
SELINUX=disabled

1)安装和配置rsyslog
[root@gitlab-test ~]# yum install rsyslog -y
[root@gitlab-test ~]# cp /etc/rsyslog.conf /etc/rsyslog.conf.bak
[root@gitlab-test ~]# vim /etc/rsyslog.conf
......
$ModLoad imfile        #装载imfile模块,这一行手动添加
......
*.info;mail.none;authpriv.none;cron.none;local5.none                /var/log/messages       #手动添加local5.none
......

#在文件底部添加
$InputFileName /var/opt/gitlab/nginx/logs/gitlab_access.log      
$InputFileTag web_access             
$InputFileSeverity info         
$InputFileStateFile /etc/rsyslog.d/stat-access       

$InputFileFacility local5        
$InputFilePollInterval 1          
$InputFilePersistStateInterval 1      
$InputRunFileMonitor                          
local5.* @192.168.10.239

重启rsyslog服务
[root@gitlab-test ~]# /etc/init.d/rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]

由于作为日志的推送端,rsyslog日志不需要开启514端口(如上在rsyslog.conf文件里没有打开dup或tcp的514端口)
[root@gitlab-test ~]# lsof -i:514
[root@gitlab-test ~]# 

二、rsyslog服务端部署(192.168.10.239)
0)关闭防火墙
[root@rsyslog ~]# systemctl stop firewalld
[root@rsyslog ~]# systemctl disable firewalld
[root@rsyslog ~]# firewall-cmd --state
not running
[root@rsyslog ~]# setenforce 0
[root@rsyslog ~]# cat /etc/sysconfig/selinux |grep "SELINUX=disabled"
SELINUX=disabled

1)安装数据库
[root@rsyslog ~]# yum install mariadb mariadb-server -y

启动并初始化数据库(root密码默认设置为123456)
[root@rsyslog ~]# systemctl start mariadb.service
[root@rsyslog ~]# /bin/mysql_secure_installation

添加数据库和用户
[root@rsyslog ~]# mysql -uroot -p123456
......
MariaDB [(none)]> create database rsyslog character set utf8 collate utf8_bin;
MariaDB [(none)]> grant all privileges on rsyslog.* to 'rsyslog'@'localhost' identified by 'rsyslog';flush privileges;
MariaDB [(none)]> 

安装rsyslog的MySQL扩展程序包rsyslog-mysql
[root@rsyslog ~]# yum install rsyslog-mysql -y

将rsyslog的MySQL表导入创建的rsyslog数据库,并给予用户权限
[root@rsyslog ~]# ll /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql 
-rw-r--r-- 1 root root 1046 Apr 15  2016 /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql
[root@rsyslog ~]# mysql -uroot -p123456 < /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql

[root@rsyslog ~]# mysql -uroot -p123456
......
MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| Syslog             |
| mysql              |
| performance_schema |
| rsyslog            |
+--------------------+

MariaDB [(none)]> grant all privileges on Syslog.* to 'rsyslog'@'localhost' identified by 'rsyslog';flush privileges;

测试登录
[root@rsyslog nginx]# mysql -ursyslog -hlocalhost -prsyslog
......
MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| Syslog             |
| rsyslog            |
+--------------------+

2)安装和配置rsyslog
[root@rsyslog ~]# yum install rsyslog -y
[root@rsyslog ~]# cp /etc/rsyslog.conf /etc/rsyslog.conf.bak
[root@rsyslog ~]# vim /etc/rsyslog.conf
......
$ModLoad ommysql                                    #添加该模块
*.* :ommysql:localhost,Syslog,rsyslog,rsyslog       #所有日志:ommysql:数据库地址,数据库名,数据库用户,数据库用户密码
......
$ModLoad imudp                                      #tcp和udp两个端口模块同时使用!
$UDPServerRun 514

$ModLoad imtcp
$InputTCPServerRun 514

#定义一个模板用来指定接收的日志消息的格式(默认会在记录的日志前加几个字段)
$template  SpiceTmpl,"%msg%\n"                   ##%msg:2:$%为去掉日志开头的空格

#定义一个模板用来指定接收的日志文件的存放路径%……%之间的是定义日志按照年-月-日命名
$template  DynaFile,"/data/rsyslog/nginx/%$YEAR%-%$MONTH%-%$DAY%.log"
......
*.info;mail.none;authpriv.none;cron.none;local5.none        /var/log/messages   #手动添加local5.none,即不记录local5设施的日志
......
local5.*                                                ?DynaFile;SpiceTmpl

编辑/etc/sysconfig/rsyslog中"SYSLOGD_OPTIONS="开启远程日志接收功能
[root@rsyslog ~]# vim /etc/sysconfig/rsyslog
......
SYSLOGD_OPTIONS="-c 5"

创建日志接收过来后定义的存放目录
[root@rsyslog ~]# mkdir -p /data/rsyslog/nginx

重启rsyslog服务
[root@rsyslog ~]# systemctl restart rsyslog.service
[root@rsyslog ~]# lsof -i:514
COMMAND    PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rsyslogd 26120 root    3u  IPv4 243261      0t0  UDP *:syslog 
rsyslogd 26120 root    4u  IPv6 243262      0t0  UDP *:syslog 
rsyslogd 26120 root    5u  IPv4 243265      0t0  TCP *:shell (LISTEN)
rsyslogd 26120 root    6u  IPv6 243266      0t0  TCP *:shell (LISTEN)

然后查看下日志是否收集过来了(客户端日志文件要有新日志内容刷入)
[root@rsyslog ~]# ll /data/rsyslog/nginx/
total 36
-rw------- 1 root root 33430 Jul  2 10:48 2018-07-02.log

3)准备web环境
[root@rsyslog ~]# yum install httpd php php-mysql php-gd -y

下载loganalyzer
[root@rsyslog ~]# yum install unizp -y
[root@rsyslog ~]# wget https://github.com/rsyslog/loganalyzer/archive/master.zip
[root@rsyslog ~]# du -sh master.zip 
3.0M  master.zip
[root@rsyslog ~]# unzip master.zip
[root@rsyslog ~]# \cp -rf loganalyzer-master/src/* /var/www/html/

[root@rsyslog ~]# cd /var/www/html/
[root@rsyslog html]# touch config.php
[root@rsyslog html]# chmod 666 config.php
[root@rsyslog html]# systemctl start httpd

4)接着访问http://192.168.10.239,进入浏览器页面配置

点击之后,提示开始检查

配置文件检查,注意上面创建的config.php文件需要授予666权限,如果没有写权限,则会报错提示!LogAnalyzer 的基本配置,此处配置的数据库为 LogAnalyzer 的数据库,也就是我们自己建的 rsyslog 数据库。数据库名称,用户名及密码都是rsyslog。

如果数据库能正常连接,那么就会显示正常了,如果数据库连接出错,则会提示错误原因,点击 Next 继续下一步。

连接数据库成功后,会自动创建数据库表,提示 24 条成功,0 失败。

创建登录用户

登录用户创建成功后,接着是填写日志信息的数据库信息,也就是我们导入 sql 文件所创建的 Syslog 数据库。请注意大小写,监控表为 SystemEvents,默认为小写,会出错!

继续下一步就会提示成功啦,然后点击here,进行登录,便能进入查看了。

如果不想在LogAnalyzer的web界面里看到诸如message、cron、security等系统日志,可以在/etc/rsyslog.conf文件里将这些配置全部注释,只保留local5的日志配置,即:

[root@rsyslog ~]# vim /etc/rsyslog.conf
......
#*.info;mail.none;authpriv.none;cron.none;local5.none    /var/log/messages
#authpriv.*                                              /var/log/secure
#mail.*                                                  -/var/log/maillog
#cron.*                                                  /var/log/cron
#*.emerg                                                 :omusrmsg:*
#uucp,news.crit                                          /var/log/spooler
#local7.*                                                /var/log/boot.log
local5.*                                                ?DynaFile;SpiceTmpl

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Debian社区

英特尔放出Linux微代码以修复Meltdown和Spectre漏洞

近日,Intel发布了最新版本的Linux处理器微代码数据文件,而这个补丁文件能够修复Intel CPU中的Spectre以及Meltdown漏洞。广大用户可以...

693
来自专栏黑泽君的专栏

eclipse复制粘贴项目,需要修改的几处地方

2、修改访问的根目录:项目名右键 --> Properties --> Web Project Setting

742
来自专栏pangguoming

forever让nodejs应用后台执行

nodejs一般是当成一条用户命令执行的,当用户断开客户连接,运用也就停了,很烦人。如何让nodejs应用当成服务,在后台执行呢? 最简单的办法: $ nohu...

3526
来自专栏Spring相关

Springboot之Actuator的使用解析

Actuator是spring boot提供的对应用系统的自省和监控的集成功能,可以对应用系统进行配置查看、相关功能统计等。

1283
来自专栏阿炬.NET

解决Android系统短信群发时提示”正在发送大量短信“

2925
来自专栏一“技”之长

Git命令集之十——文件移动命令 原

    删除某个文件。这个命令会将文件直接删除,并将此操作更新到缓存区,直接进行commit提交即可。

581
来自专栏杂烩

hadoop集群配置之hadoop安装部署 原

需要先对linux系统做一些优化,编辑/etc/security/limits.conf 

705
来自专栏python3

终端循环执行命令

944
来自专栏Python自动化测试

Appium之环境搭建(一)

本文章这里详细的介绍appium的环境搭建,关于它的设计哲学,可以到http://appium.io/documentation.html地址去看,...

854
来自专栏Duncan's Blog

RESTful web service

REST架构就是为了HTTP协议设计的。RESTful web services的核心概念是管理资源。资源是由URIs来表示,客户端使用HTTP当中的’POST...

743

扫码关注云+社区