MySQL存储日志并使用Loganalyzer作为前端展示

为什么要使用日志

在生产环境中我们可能需要一个较为完整的日志系统来查看运行中主机服务的状态和所作出的操作,我们可以在较大型的网络架构中使用ELK来实现对日志的收集、检索、前端显示,但是中小型架构中使用rsyslog足以对所有服务器的日志进行收集和检索来达到实时分析数据流量的目的。

本文目标

使用rsyslog将两台主机的日志信息存储到MySQL数据库中,并且编译安装Loganalyzer对MySQL中的日志信息使用httpd+php在前端进行展示。

实验拓扑图

实验环境

主机名 IP地址 负责 syslog.anyisalin.com 192.168.2.2 收集日志,MySQL www.anyisalin.com 192.168.2.3 web server1.anyisalin.com 192.168.2.4 正常使用

本文所有主机皆关闭SElinux和IPtables

实验步骤

syslog主机上rsyslog设置

以下操作在 syslog.anyisalin.com 中执行

首先我们要安装mysql和rsyslog连接mysql的驱动

[root@syslog ~]# yum install mysql-server rsyslog-mysql -y 
Loaded plugins: fastestmirror
Setting up Install Process

    #省略
Installed:
  rsyslog-mysql.x86_64 0:5.8.10-10.el6_6   
  mysql-server.x86_64 0:5.1.73-5.el6_7.1                                                                                                                                                  

Complete!

然后我们要修改rsyslog的配置文件,将下面两项启用

$ModLoad imudp
$UDPServerRun 514

再添加mysql的配置

$ModLoad ommysql

修改日志存放位置为MySQL vim编辑器进入末行模式进行替换

%s@./var\/log.*@:ommysql:192.168.2.2,Syslog,syslog,passwd@gi

重启rsyslog服务

[root@syslog ~]# service rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]

创建mysql用户并赋予权限

mysql> GRANT ALL ON Syslog.* TO 'syslog'@'%' IDENTIFIED BY 'passwd';
Query OK, 0 rows affected (0.00 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

导入表

[root@syslog ~]# mysql -usyslog -ppasswd < /usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql

Server1主机上rsyslog设置

以下操作在 server1.anyisalin.com 中执行

首先我们要修改rsyslog的配置文件 vim编辑器进入末行模式进行替换

%s@./var\/log.*@\@192.168.2.2@gi

重启rsyslog服务

[root@server1 ~]# service rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]

测试是否成功

在syslog.anyisalin.com中查询数据库看是否记录

mysql> select * from SystemEvents\G;
*************************** 1. row ***************************
                ID: 1
        CustomerID: NULL
        ReceivedAt: 2016-03-23 17:28:21
DeviceReportedTime: 2016-03-23 17:28:21
          Facility: 0
          Priority: 6
          FromHost: syslog
           Message: imklog 5.8.10, log source = /proc/kmsg started.
        NTSeverity: NULL
        Importance: NULL
       EventSource: NULL
         EventUser: NULL
     EventCategory: NULL
           EventID: NULL
   EventBinaryData: NULL
   省略。。。。

Web服务器配置

以下操作在 www.anyisalin.com 中执行

由于loganalzyer提供的动态网页,所以我们要安装httpd和php

[root@www ~]# yum install php-gd httpd php php-mysql -y | tail -n 10
  apr-util.x86_64 0:1.3.9-3.el6_0.1                                             
  apr-util-ldap.x86_64 0:1.3.9-3.el6_0.1                                        
  httpd-tools.x86_64 0:2.2.15-47.el6.centos.4                                   
  libedit.x86_64 0:2.11-4.20080712cvs.1.el6                                     
  mailcap.noarch 0:2.1.31-2.el6                                                 
  php-cli.x86_64 0:5.3.3-46.el6_7.1                                             
  php-common.x86_64 0:5.3.3-46.el6_7.1                                          
  php-pdo.x86_64 0:5.3.3-46.el6_7.1                                             

Complete!

解压loganalzyer程序包到/var/www/html中并配置

[root@www ~]# tar xf loganalyzer-3.6.4.tar.gz  -C /var/www/html/
[root@www ~]# cd /var/www/html/
[root@www html]# ls
loganalyzer-3.6.4
[root@www html]# cp -a loganalyzer-3.6.4/src/ log
 cp -a loganalyzer-3.6.4/contrib/*.sh log/

[root@www html]# cd log
[root@www log]# chmod +x *.sh
[root@www log]# ./configure.sh 
[root@www log]# ./secure.sh 
[root@www log]# chmod 666 config.php

启动httpd服务

[root@www log]# service httpd start
Starting httpd: httpd: Could not reliably determine the server's fully qualified domain n
ame, using www.anyisalin.com for ServerName                                                           [  OK  ]

访问web页面安装loganalyzer

一直下一步到下面的页面,并按下面这样输入

一直下一步到最后点击Finish

安装完成,我们可以通过前端页面查看多台主机日志信息了

总结

怎么样?是不是很直观的就能查看排版好且美观的日志信息,再也不用面对繁杂的命令行接口了!

原文发布于微信公众号 - 马哥Linux运维(magedu-Linux)

原文发表时间:2016-04-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏耕耘实录

RHEL7.X系列及周边Linux发行版中,关于MBR与GPT的选择一些思考与建议

存储的选型、规划与管理等工作一直以来都是日常系统运维工作中的重点。MBR与GPT两种类型的分区表的选择与使用则是在磁盘管理中需要根据应用场景来注或考虑的要点。结...

13620
来自专栏一名合格java开发的自我修养

sqoop关系型数据迁移原理以及map端内存为何不会爆掉窥探

  序:map客户端使用jdbc向数据库发送查询语句,将会拿到所有数据到map的客户端,安装jdbc的原理,数据全部缓存在内存中,但是内存没有出现爆掉情况,这是...

11120
来自专栏挖掘大数据

通过Sqoop将MySQL数据导入到HDFS/HBase

本文将利用Sqoop将MySQL海量测试数据导入到HDFS和HBase。

37000
来自专栏乐沙弥的世界

基于Innobackupex的完全恢复

    对于MySQL的完全恢复,我们可以借助于Innobackupex的多重备份加上binlog来将数据库恢复到故障点。这里的完全恢复是相对于时点恢复(也叫...

14920
来自专栏实战docker

pinpoint插件开发之一:牛刀小试,调整gson插件

从本章开始我们一起来实战pinpoint插件开发,做一些实用的pinpoint插件,本着先易后难的原则,我们从修改现有插件开始吧; 准备工作 本次实战的操作环境...

35550
来自专栏三杯水

ELKB5.2.2集群环境部署配置优化终极文档

3,logstash filter 加入urldecode支持url、reffer、agent中文显示

37020
来自专栏SpringBoot 核心技术

第三十九章:基于SpringBoot & Quartz完成定时任务分布式单节点持久化

716100
来自专栏乐沙弥的世界

使用pt-heartbeat监控主从复制延迟

    MySQL主从复制是MySQL 高可用架构中重要的组成部分,该技术可以用于实现负载均衡,高可用和故障切换,以及提供备份等等。对于主从复制的监控,仅仅依赖...

17030
来自专栏张戈的专栏

gh-ost:在线DDL修改MySQL表结构工具

在之前,我分享过一次 pt-online-schema-change 在线 DDL 的工具实践记录,在实际使用过程中,发现部门的很多老系统大量使用了触发器,从而...

1K70
来自专栏ChaMd5安全团队

CVE-2018-1000156:GNU Patch任意代码执行漏洞分析

GNU Patch 源码下载地址:https://ftp.gnu.org/gnu/patch/

28920

扫码关注云+社区

领取腾讯云代金券