专栏首页阿dai_linux你真的搞懂logrotate了吗? 原

你真的搞懂logrotate了吗? 原

logrotate机制&原理

centos系统中默认安装logrotate,logrotate主配置文件:/etc/logrotate.conf,其中定义了系统默认的logrotate规则,当系统中安装了RPM 软件包时,使用include定义其子配置文件的位置:/etc/logrotate.d/*,include选项十分重要,一些应用把日志转储参数存放在/etc/logrotate.d ,典型的应用有:apache,nginx,cron,syslog等,这样,只要管理一个 /etc/logrotate.conf 文件就可以了。 使用时配合crontab定期执行logrotate命令,cron的主配置文件/etc/anacrontab中定义了crontab的默认执行规则,其中系统自带的每1天执行的cron计划配置文件放在/etc/cron.daily/目录下,在该目录下的logrotate文件内容如下:

#!/bin/sh
/usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi

该脚本每天定时执行一次,即系统默认的logrotate时间计划。如果想更改系统默认的logrotate时间计划,可以将该文件挪走,然后在crontab中指定自己的时间计划,如:

#每两天执行一次系统日志切割
* * */2 * * /usr/sbin/logrotate -f /etc/logrotate.conf

春雨logrotate

关于logrotate的cron计划在/etc/cron.daily/logrotate,与cron配合使用,春雨弃用系统自带的cron计划,制定cron如下:

春雨cron计划:
17 *   * * *  root    run-parts /etc/cron.hourly
47 23  * * *  root    run-parts /etc/cron.daily
47 6   * * 7  root    run-parts /etc/cron.weekly
52 6   1 * *  root    run-parts /etc/cron.monthly    

即,在每天23:47执行/etc/cron.daily计划下的操作,进行日志切割,logrotate规则配置文件如下:

[root@control ~]$ ls /etc/logrotate.d/

系统日志logrotate过程

  • 执行cron计划
47 23  * * *  root    run-parts /etc/cron.daily
  • 执行/etc/cron.daily的logrotate文件
#!/bin/sh
/usr/sbin/logrotate -s /var/lib/logrotate/logrotate.status /etc/logrotate.conf
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
    /usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
  • 执行/etc/logrotate.conf配置的规则,根据“include /etc/logrotate.d”参数执行/etc/logrotate.d/下的logrotate配置文件,系统日志相关的是syslog:
/var/log/cron
/var/log/maillog
/var/log/secure
/var/log/messages
/var/log/spooler
{
    #每日切割
    daily
    #忽略执行过程中的所有错误
    missingok
    #时间戳,默认是年月日;可以使用dateformat参数自定义
    dateext
    #转储周期为10天,十天前的日志会被删除
    rotate 10
    #不切割空日志文件
    notifempty
    #通常prerotate和postrotate脚本为每一个轮转的日志运行,
    #sharedscripts的作用是使所有的日志轮转完成后再执行脚本
    sharedscripts
    #定义日志切割完成后的操作,作用是重新定义进程日志文件描述符,是日志写入新的日志文件
    postrotate
        /bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
    endscript
}

项目日志logrotate过程

nginx日志logrotate过程

/usr/local/nginx/logs/*.log {
daily
dateext
rotate 10
missingok
# 不创建新日志文件
nocreate
# notifempty
# compress  #压缩切割后的日志
sharedscripts
#发送USR1信号来通知Nginx重新打开日志文件
postrotate
    /bin/kill -USR1 `cat /var/run/nginx.pid` || true
endscript
}

该过程与系统日志切割的区别是对新生成的日志文件的处理方式,因为程序日志输出所指向的位置是由文件的iNode号来识别的,所以nginx、uwsgi等程序的日志在切割完成后需要执行postrotate指定的脚本来更新程序所指向的日志文件inode。

uwsgi

/home/workspace/log/uwsgi/uwsgi.*log {
    # 每日轮询
    daily
    # 旧日志文件以更新日期命名
    dateext
    # 最多10个归档日志,多余10个,最早的日志文件被删除
    rotate 10
    # 在日志轮循期间,任何错误将被忽略,例如“文件无法找到”之类的错误。
    missingok
    # 不创建新日志文件
    nocreate
    sharedscripts
    postrotate
         /bin/touch /home/workspace/scripts/uwsgi/touch_reopen_log
    endscript
}

关于postrotate

postrotate后面跟随的是一个命令行,一般是用来重新生成日志文件或者冲定义应用所指向的文件描述符(fd:file description),拿nginx和uwsgi为例:

nginx

  • 完成日志切割后创建新的nginx日志文件,此时该文件的fd发生改变
  • nginx中日志输出对应的文件fd未同步更新,nginx会向原fd对应的日志文件写数据
  • “/bin/kill -USR1 cat /var/run/nginx.pid || true”,更新nginx默认日志文件的fd到新建的日志文件(该效果等同于reload)。

uwsgi

  • uwsgi不能通过reload方式创建自己的log文件
  • logrotate配置文件中使用参数create创建新的uwsgi日志文件
  • touch-logreopen参数:当指定的文件被touch过后,会让uwsgi重定向日志输出对应的文件fd,并且不会终止当前的服务(不是stop+start,而是reload的概念)
  • logrotate配置文件postrotate:“/bin/touch /home/workspace/scripts/uwsgi/touch_reopen_log”

日志rotate方式

logrotate提供了两种日志rotate方式,两种方式的区别在于新的日志文件的处理方式。

  • 一种就如上面nginx所述,在完成rotate之后创建新文件,然后更新程序的日志文件描述符指向到新日志文件(即将新日志写入新日志文件) ;
  • 另一种方式叫做copytruncate,该方式是先创建新文件存储旧日志,然后清空旧日志文件(echo “” > old_logfile),此时文件的iNode号不会发生改变,新产生的日志会继续写入旧的日志文件中(可以简单的理解为旧日志内容做了一次备份),需要注意的是,该方法会有部分日志丢失:日志在拷贝完到清空文件这段时间内,程序输出的日志没有备份就清空了。

综上,优先选用第一种方法进行日志切割。

关于/bin/kill -HUP

"/bin/kill -USR1 `cat /var/run/nginx.pid` || true"  

看到这条命令很容易想到:

/bin/kill -HUP `cat /var/run/nginx.pid 2> /dev/null` 2> /dev/null || true

这两条命令的大概含义是重载nginx服务,目的是重新生成nginx的日志文件。

>/dev/null 2>&1,/dev/zero

/dev/null

/dev/null:是设备自带的一个控设备,可以理解为一个黑洞文件,写入它的所有东西都将消失,通常被用于丢弃不需要的输出流。

/dev/zero

在类Unix操作系统中,/dev/zero是一个特殊文件,当你读到它时,它会提供无线的空字符,其中的一个典型用法是用它提供的字符流来覆盖信息,另一个常见用法是产生一个特定大小的空白文件(在临时增加swap空间时有用到)。

2>&1

这个其实是三个部分组成的:2,>&,1 。在/usr/include/unistd.h中,你可以找到如下代码:

#define STDIN_FILENO    0   #define STDOUT_FILENO   1   #define STDERR_FILENO   2  

2表示stderr;1表示stdout;0表示stdin,而“&>”则表示把符号左边的内容以符号右边的形式输出。

(adsbygoogle = window.adsbygoogle || []).push({});

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python2 进程扫描脚本 原

    因近期有开发人员在跑脚本时占用系统内存太多导致系统其它进程宕掉,所以需要对系统进程进行扫描监控,如果检测到占用系统内存大于5G的进程就直接kill掉,但是担心误...

    阿dai学长
  • TC(Traffic Control)命令—linux自带高级流控

    Linux操作系统中的流量控制器TC(Traffic Control)用于Linux内核的流量控制,主要是通过在输出端口处建立一个队列来实现流量控制。 接收包...

    阿dai学长
  • 网络基础知识一 原

    (adsbygoogle = window.adsbygoogle || []).push({});

    阿dai学长
  • logrotate机制和原理

    日志实在是太有用了,它记录了程序运行时各种信息。通过日志可以分析用户行为,记录运行轨迹,查找程序问题。可惜磁盘的空间是有限的,就像飞机里的黑匣子,记录的信息再重...

    zero000
  • logrotate使用

    日志文件包含了关于系统或者程序的日志信息,在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器,日志文件大小会增长极快,服务器会很快消耗磁盘空间,所以如何...

    dogfei
  • Linux日志切割工具Logrotate配置详解

    Logrotate 程序是一个日志文件管理工具。用于分割日志文件,压缩转存、删除旧的日志文件,并创建新的日志文件,下面就对logrotate日志轮转的记录:

    Cyylog
  • linux下日志定时轮询的流程详解

    对于Linux系统安全来说,日志文件是极其重要的工具。日志文件包含了关于系统中发生的事件的有用信息,在排障过程中或者系统性能分析时经常被用到。当日志文件不断增长...

    砸漏
  • 一日一技:使用 Linux 自带的 logrotate 管理你的所有日志

    我们在开发的过程中,会创建非常多的日志,对日志进行 rotate 是一个基本要求。

    青南
  • VR是PC厂商的救命稻草还是海市蜃楼?

    镁客网
  • 【Python制作词云】分析QQ群聊信息,记录词频并制作词云

    将群成员发的消息保存至列表中,遍历所有消息,符合时间正则的留下,并用 flag 进行标记,从而将特定的群成员消息提取出来。

    AXYZdong

扫码关注云+社区

领取腾讯云代金券