nginx日志按天切割并归集在一台服务器
nginx日志对于分析网站有极大的意义，如果我们有多个网站，这些网站又分布在不同的服务器，如何高效地分析这些nginx日志？这里有两个问题：
- nginx日志要进行切割，不然单个文件太大，不便于分析
- 日志散落在不同的服务器，不便管理，尤其在迁站时，容易丢失日志
image.png
日志按天切割
单一文件太大，就应该对其进行切割，一般是以时间为单位进行切割。有很多切割的方案，有些是借助第三方工具切割，有些是自己写脚本，这些方案都太重了，我希望仅需改nginx的配置即可完成，实现如下：
if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})") {
set $year $1;
set $month $2;
set $day $3;
}
access_log /var/log/test/access_$year-$month-$day.log;
error_log /var/log/test/error.log;以下几点需要注意：
- nginx日志目录要先建好，且必须对nginx开放权限，不然记录不到日志
- error_log 不能使用变量，直接解析成字符串，因此只能是单一文件
以上配置后，就会生成access_2019-04-06.log格式的日志
日志归集
原理很简单，写一个脚本，将不同服务器的日志同步到其中一台服务器，每天凌晨定时执行。
以下用python实现：
import os
from datetime import date, timedelta
yesterday = date.today() - timedelta(1)
year = yesterday.strftime("%Y")
month = yesterday.strftime("%m")
day = yesterday.strftime("%d")
find_command = 'find /www/web/test/nginx/log -type f -name "*.log" | grep {0}'.format(year+'-'+month+'-'+day)
paths = os.popen(find_command).read().split()
for path in paths:
dist_path = 'username@192.168.1.12:' + path
scp_command = "scp {0} {1}".format(path, dist_path)
os.system(scp_command)代码讲解：
- 获取前一天日志，拼接nginx日志路径
- 用find命令获取日志的绝对路径
- 通过scp命令将日志传送到目标服务器
再将这个脚本设置成crontab定时执行
各个服务器之间要先建立ssh信任通道，这样才能用scp免密码传送
日志集中到一台服务器后，就可以很方便地进行日志分析
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2019.04.07 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。