需求背景 解决某些中间件或者应用日志无法自动清理的情况，比如：Nacos 的 access 日志。...2020-06-08 01:00:01 [ INFO] ====>> End cleaning up log files: [/home/nacos/nacos/logs] 脚本 $ cat clear-logs.sh...===== # header 总行数 SCRIPT_HEADSIZE=$(head -200 "${0}" |grep -n "^# END_OF_HEADER" | cut -f1 -d:) # 脚本名称...SCRIPT_NAME="$(basename "${0}")" # 版本 VERSION="0.0.1" # 默认保留 7 天 DAYS=7 # 脚本执行日志目录 CLEAR_LOGS_LOG_PATH...sed -e "s/^#%//g" -e "s/\${SCRIPT_NAME}/${SCRIPT_NAME}/g" -e "s/\${VERSION}/${VERSION}/g" } # 初始化创建脚本日志目录
# 日志切割脚本 脚本如下 注：安装zip命令 #!..."" > /data/applications/$logname done find /data/applications/logs/* -mtime +60 -exec rm {} \; # php日志压缩...apps/get_docker/get_web_php_server/php.log" DATE=$(date -d "yesterday" +"%Y-%m-%d") cd $LOG_DIR #压缩php日志...tar -zcf fpm-fcgi-laravel-$DATE.tar.gz fpm-fcgi-laravel-$DATE.log #删除原始日志文件 rm -rf fpm-fcgi-laravel-
Tomcat日志每俩小时切割的脚本如下（这是用定时任务来完成的，此方法无需重启Tomcat）： time=$(date +%H) end_time=`expr $time - 2` a=$end_time...$BF_TIME.out echo " " > /usr/local/tomcat8/logs/catalina.out #创建存放catalina.out日志的目录 mkdir -p /var/log.../tomcat/oldlog/ #给脚本设置可执行权限 chmod +x /root/tom_log.sh #设置定时任务，每两小时执行一次 crontab -e 0 */2 * * * sh /
脚本内容 #!...#access日志备份后名字 error_BACKLOG_NAME=error_`date +%Y-%m-%d`.log #error日志备份后名字 mv $NGINXLOG_DIR/access.log...nginx -s reload 使用ab压测工具 生成一些日志记录 yum安装 yum -y install httpd-tools 进行压测产生日志 ab -c 10 -n 1000 http:...//127.0.0.1/index.html 查看日志 运行脚本 ..../nginx_log.sh 可以写入定时任务 crontab -e #添加 0 0 * * * /bin/bash /var/log/nginx/nginx_log.sh #每天凌晨0点执行脚本
/dk_log_clean.sh echo -e "\033[44;37m 本机docker容器日志大小如下 \033[0m" logs=$(find /var/lib/docker/containers...for log in $logs do ls -sh $log done echo -e "\033[44;37m 开始清理docker容器日志
/bin/bash # 服务器磁盘 内存 进程 错误日志 # 脚本开发：万杨 lggname="root" #lggname="zxin10" setdiskp=13...=$( uname -a | awk -F" " '{print $2}' | sed "s/[0-9]*$//g") echo "#------------------------- 错误日志
Perl分析Apache/Nginx日志 (2009-6-22) http://www.lazysa.com/2009/05/480.html 功能简述： 统计出日志里一个或多个页面总共访问的次数...分析过程： Apache单个日志文件800M。...\)/$1/g; 正则 参考 perl-正则 ◆ 常用分析web日志的命令 (2009-6-22) http://www.lazysa.com/2009/05/319.html...www.access.log |awk '($10 > 200000 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100 如果日志最后一列记录的是页面文件传输时间...cat www.access.log |awk '($NF > 30){print $7}'|sort -n|uniq -c|sort -nr|head -20 列出当前服务器每一进程运行的数量
脚本内容 #!...#access日志备份后名字 error_BACKLOG_NAME=error_`date +%Y-%m-%d`.log #error日志备份后名字 mv $NGINXLOG_DIR/access.log...//127.0.0.1/index.html 查看日志 ?...运行脚本 ./nginx_log.sh ?...可以写入定时任务 crontab -e #添加 0 0 * * * /bin/bash /var/log/nginx/nginx_log.sh #每天凌晨0点执行脚本
/bin/bash #Tomcat日志切割 Tomcat_logs_path=/data/server/tomcat-8080/logs d=`date +%F` d7=`date -d "7 days
mongodb数据备份脚本和日志切割脚本 ?...wjw555关注0人评论1353人阅读2018-02-02 17:33:50 mongodb数据备份脚本和日志切割脚本 1.登陆mongo mongo --port=27018 2.创建管理用户:...mongod.pid auth = true #keyFile = /tmp/mongo-keyfile #nohttpinterface=true #replSet=shard1 4.mongodb日志按天切割...mongodb日志默认写在一个文件，时间久了文件太大，用cron计划任务+脚本 可以实现按日期存放log [root@cacti scripts]# cat /data/scripts/rotatelog.sh...： 脚本1： [root@localhost ~]# cat /data/backup/mongobackup/test.sh mongo 127.0.0.1:27018/admin -u root
一、需求 生产上有40多个微服务部署的应用，每个应用都会产生日志，随着时间的增长，日志量不断增大，现需要清理。有两个重要的应用日志需保留90天，其它应用保留20天。...；日志的创建时间和文件名时间后缀相同。...文件生成时间模拟生产日志文件时间。 三、清理脚本 #!...清理脚本执行前每个日志目录log_dir有121个日志文件，执行完清理脚本后对应的减少。...2>&1 本文所有脚本已上传github
指定删除日志 因为ES保存日志是永久保存，所以需要定期删除一下日志，下面命令为删除指定时间前的日志 curl -X DELETE http://xx.xx.com:9200/logstash-*-...`date +%Y-%m-%d -d "-$n days"` 通过curl发送DELETE命令给elasticsearch服务器，进行日志删除操作。...命令示例如下： #删除所有包含字符串——“-2020.07.11” 的index（可以理解为删除7月11日当天的日志） curl -XDELETE 'http://xxx:9200/*-2020.07.11...*' #删除所有包含字符串——“-2020.10” 的index（可以理解为删除10月一整月的日志） curl -XDELETE 'http://xxx:9200/*-2020.10*' 定时删除日志...ES自动删除30天以前日志 #!
一、背景 由于业务增长，频繁的备份还原对于磁盘空间有了更大的空间需求，基本每周500G的磁盘，空间使用率都会达到85%以上，故编写Oracle清理脚本结合crond自动清理Oracle归档日志。...(7<20) print 如果手动在磁盘清理过日志文件，需要在rman内检查，然后删除过期的日志 crosscheck archivelog all; #检查所有归档日志 list...expired archivelog all; #列出过期的归档日志 delete noprompt expired archivelog all; #删除过期的归档日志...delete noprompt archivelog all; #清除所有的归档日志 三、自清理脚本 #!...EOF } main() { if [ ${disk_useper} -gt 80 ];then oracle_clean fi } main 配合定时任务清理磁盘，此在脚本内写的判断磁盘使用率大于
if os.system(command2) == 0: print "日志切割成功！" else: print "日志切割失败！"...path[0],yes_year,yes_month) if os.path.exists(path_back) == False : os.makedirs(path_back) #移动日志至备份目录下...= "%s/%s/%s/%s.log" % (path[0],yes_year,yes_month,yes_ymd) shutil.move(file_now,file_back) #重置nginx日志
因为以前没有做nginx日志分割，有时候想看日志的时候总是发现有十几G的甚至上百G的日志文件，于是就想使用python写个nginx日志分割（当然你也可以使用shell来完成都是很简单） 需求： 1.按照日分割...nginx所有日志 2.由于日志不需要随时可以查看，需要做归档（压缩.tar.gz） 3.归档日志需要有过期时间和容量限制（分割日志需要做定期的删除，超过一定时间或者目录大小超过一定容量） 分析： 按照需求...，我们需要 备份前一天日志---->重新加载日志文件---->压缩日志文件---->检测备份日志文件目录 好了，也不一一分析脚本，直接发出来了，有什么问题大家可以提啊。...#coding:utf-8 ''' Version: 1.0.0 Actor:youshumin Date:2018/04/28 脚本需求-- 1.用户提供一个nginx日志路径 (目录) 2....Tar_Log_File 打包日志文件 Check_Bak_Dir 检查日志备份目录，是否需要删除备份日志 ''' MvLog(POSSIBLE_TOPDIR,Tmp_Work_File
背景 服务器有敏感数据，不允许直接登陆服务器查看日志文件，也不允许使用如ELK等日志功能收集日志，所以只能使用最简单的办法，只将错误日志进行收集，然后通过应用的webhook进行收集。...实现思路： 使用 tail 查询日志 倒序获取第一条 关键字可指定 过滤关键字 下面这个脚本实现以上的几个思路，算是一种简单的实现，我一直觉得脚本这东西不要写的太复杂，需要考虑后面的人维护的成本。...另外脚本尽量使用python而不是shell，python更好维护，也利于扩展。写shell是因为历史原因。...编辑保存的话，tail 会抓会量日志，不是脚本有问题。...，不要让脚本变的复杂。
每天0点0分crontab执行备份脚本 2. 先将当前日志文件copy一份作为备份, 备份文件名的后缀为前一天 3. 用当前日志的最后50行覆盖当前日志的内容 备份脚本: 1 #!...5 bakup=${log}'-'${d} 6 7 cp $log $bakup 8 9 tmp=`tail -50 $log` 10 echo $tmp > $log 注意: 如果日志写入速度很快
# This perl script parses a MySQL slow_queries log file
set(success_ip).intersection(set(failed_ip)) 后来测试的时候，又发现了一个新的问题，因为有的时候只是手抖敲错了密码，并非是爆破导致的连接失败的操作被记录在日志里
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
