最终定位问题： [image.png] docker 容器日志产生了大量的日志. docker rmi -f $(docker images | awk '/^. =true) 通过以上方案,我们清理了大量的磁盘空间出来,但是依旧发现某些容器占了大量空间 [image.png] 查看容器发现,是某个废弃应用产生了大量日志,果断删除。 [image.png] 经过清理后,磁盘 空间得到释放 [image.png] 参考资料: https://www.cnblogs.com/fundebug/p/8353158.html 总结 用了Docker ，好处挺多的，但是有一个不大不小的问题，它会一不小心占用太多磁盘，这就意味着我们必须及时清理
/dk_log_clean.sh echo -e "\033[44;37m 本机docker容器日志大小如下 \033[0m" logs=$(find /var/lib/docker/containers json.log*) for log in $logs do ls -sh $log done echo -e "\033[44;37m 开始清理 docker容器日志 \033[0m" for log in $logs do cat /dev/null > $log done echo -e "\033[44;37m 清理完毕 \033[0m" for log in $logs do ls -sh $log done
提供包括云服务器，云数据库在内的90+款云计算产品。打造一站式的云产品试用服务，助力开发者和企业零门槛上云。
一、 背景 使用docker logs 查看容器日志太多，非常不方便，每次手动清理很麻烦，写了一个批量清理的shell脚本 二、处理方法 docker容器的日志都存储在 /data/docker/lib /docker/containers/目录，我们把对应的日志删除即可，这里可以新建一个shell脚本 vim cleanDockerLog.sh 把下面的内容放进去 #! /bin/sh echo "======== start clean docker containers logs ========" logs=$(find /var/lib/docker/containers containers logs ========" 三、 执行清理 执行清理的命令如下所示 sh . /cleanDockerLog.sh 再次查看 docker logs -f 容器ID，会发现日志已经被情况完成 作者：汤青松 日期：2021年11月12日
需求背景 解决某些中间件或者应用日志无法自动清理的情况，比如：Nacos 的 access 日志。 清理 7 天前的日志文件 sh clear-logs.sh -p /home/nacos/logs sh clear-logs.sh -p /home/nacos/logs -d 7 2. 清理 30 天前的日志文件 sh clear-logs.sh -p /home/nacos/logs -d 30 使用场景 Nacos access 日志清理 crontab 定时任务设置 $ crontab 清理 7 天前的日志文件 #% sh ${SCRIPT_NAME} -p /home/nacos/logs #% sh ${SCRIPT_NAME} -p /home/nacos 清理 30 天前的日志文件 #% sh ${SCRIPT_NAME} -p /home/nacos/logs -d 30 #% #==============================
经常要手动去清理各类日志和备份文件,消耗大量时间和精力. 如果执行命令后报如下: 请调整你的权限 该目录下Linux 系统 /var/log/journal/ 堆满了日志往期 然后baidu.com了下, 原来该目录下还存在如下不同日志 /var/log /messages 绝大多数的系统日志都记录到该文件 /var/log/secure 所有跟安全和认证授权等日志都会记录到此文件 /var/log/maillog 邮件服务的日志 /var/log/cron crond计划任务的日志 /var/log/boot.log 系统启动的相关日志 检查当前journal使用磁盘量 du -t 100M /var 或 journalctl --disk-usage 要启用日志限制持久化配置，可以修改 /etc/systemd/journald.conf SystemMaxUse=16M ForwardToSyslog=no 然后重启日志service systemctl
Docker 1.13.0+ 引入了清理命令。 官方文档：https://docs.docker.com/engine/admin/pruning/ 清理镜像 $ docker image prune 清理容器 $ docker container prune 清理网络 $ docker network prune 清理 Volume $ docker volume prune 清理所有 $ docker system prune $ docker
ARCHIVELOG ) 一般用于数据库的复制和备份，相对重要的企业应用都会打开该模式，每当执行了增删改的操作，Oracle就会自动归档，当归档分区剩余空间不足90%时，Oracle的服务将不可用，这时就需要清理归档日志 清理归档日志的脚本 rmanclear.sh： #!
一、描述： 以module的方式组件python代码，在磁盘文件清理上复用性更好 二、达到目标： 清空过期日志文件，清理掉超过自定大小日志文件 三、原码 #! 如果指定的路径是一个目录，将抛出OSError os.remove(file_item) ''' 清理掉超过日期的日志文件 ''' def remove_files_by_date get_clean_log_list_by_date(target_dir,before_days_remove,pattern) remove_file_list(file_list) ''' 清理掉超过大小的日志文件 file_size_limit='10g', pattern='log'): disk_used_limit = disk_used_limit.replace('%', '') # 第一步执行按时间的日志清理 remove_files_by_date(target_dir, before_days_remove=before_days_remove, pattern=pattern) # 如果磁盘空间还是没有充分释放,则执行按大小的日志清理
今天看了下tomcat日志，发现已经有8g多了... 仔细想想大概有2年多没有处理过日志了。因为博客线上也没出过啥问题，所以压根就没怎么看过日志。毕竟不是运维 ... 啥也不说了，服务器总内存也才50g，赶紧清理掉吧。然后再写个每天清理的脚本。 日志过大搞不好会把磁盘爆满服务器直接宕机。所以想着还是优化下日志文件。 localhost_access_log 用于记录资源访问日志， 这个日志文件可记录所有http的get，post访问日志。 清理catalina.out 查看日志信息： 11tail -n 500 /usr/local/apache-tomcat-8.5.38/logs/catalina.out 清空日志信息：可以参考https +%F`:app日志打包成功，正在删除源文件" >> backup_access.log32 /usr/bin/rm -rf springboot_"`date +%F`".out33fi34#清理日志目录
清理已经停止的容器 docker container prune or docker rm $(docker ps -q -f status=exited) 清理过程镜像 docker rmi $(docker images -q -f "dangling=true") 清理所有不用数据 docker system prune -a 停止的容器,不使用的volume,不使用的networks,悬挂的镜像(过程镜像 清理容器日志 cat /dev/null >/var/lib/docker/containers/containerid/containerid.log-json.log 找到对应container的日志文件 ，一般是在 /var/lib/docker/containers/containerid/containerid.log-json.log（containerid是指你的容器id） 限制日志大小和文件 ", "max-file":3 } } 或在docker run时携带参数： --log-opt max-size=10m --log-opt max-file=3 附 查看文件夹占用空间
当 Docker 容器运行时，它不会自动删除。您可以使用 docker ps -a 命令查看所有容器。要清理退出的容器，可使用以下命令。 docker run -v /var/run/docker.sock:/var/run/docker.sock -v /var/lib/docker:/var/lib/docker --rm martin docker rm -v $(docker ps -a -q -f status=exited) docker rmi $(docker images -f "dangling=true" -q) docker run -v /var/run/docker.sock:/var/run/docker.sock -v /var/lib/docker:/var/lib/docker --rm martin/docker-cleanup-volumes 这样一来，Linux 系统将每天自动执行这个任务来清理 Docker。
常见应用服务，都会记录日志，方便问题查询和故障定位。linux系统本身也会有日志输出。 日志管理策略一般是，通过一定的规则，对日志进行定期清理，防止日志随时间增长占满磁盘空间。 1. 日志定期清理 日志的定期清理，最先想到的方法是通过crontab+shell的方式。通过对日志后缀表示或mtime进行判断，rm相应的日志，必要时候还需要reload应用。 1.1 crontab显示定时清理 例如，查找7天前的日志并删除（日志保留7天） # 清理脚本 find . -name "*.log" -mtime +7 -delete find . -name "*.log" -type f -newermt '2018-11-01 00:00' | xargs rm 1.2 crontab隐式定时清理 部分应用安装时自带日志清理脚本，但具体清理的逻辑隐层于脚本中 2. logrotate工具 logrotate是linux自带的日志清理工具，linux系统日志的定期清理就是依赖logrotate完成。
一、需求 生产上有40多个微服务部署的应用，每个应用都会产生日志，随着时间的增长，日志量不断增大，现需要清理。有两个重要的应用日志需保留90天，其它应用保留20天。 ；日志的创建时间和文件名时间后缀相同。 文件生成时间模拟生产日志文件时间。 三、清理脚本 #! log_directory2 -type f -mtime +$Days2 -exec rm {} \; find $log_directory3 -type f -mtime +$Days2 -exec rm {} \; 清理脚本原理 清理脚本执行前每个日志目录log_dir有121个日志文件，执行完清理脚本后对应的减少。
一、背景 由于业务增长，频繁的备份还原对于磁盘空间有了更大的空间需求，基本每周500G的磁盘，空间使用率都会达到85%以上，故编写Oracle清理脚本结合crond自动清理Oracle归档日志。 (7<20) print 如果手动在磁盘清理过日志文件，需要在rman内检查，然后删除过期的日志 crosscheck archivelog all; #检查所有归档日志 list expired archivelog all; #列出过期的归档日志 delete noprompt expired archivelog all; #删除过期的归档日志 delete noprompt archivelog all; #清除所有的归档日志 三、自清理脚本 #! ，此在脚本内写的判断磁盘使用率大于80%进行清理，也可根据自己需求进行判断，或每次都执行清理。
MongoDB日志文件过大 MongoDB启动的时候指定了--logpath为一个日志文件。随着时间此文件会变得越来越大，达到好几个G。 第一种方式 进入到mongo的命令行交互程序，输入： use admin db.runCommand({logRotate: 1}) 经过测试发现，此种方式只能让主mongo的日志滚动。 如果是集群部署的话，其他机上的mongo日志并不会滚动。 所以还需要使用下面的方式。 在输入命令： kill -SIGUSR1 <pid> 此种方式只能修改当前机器上的mongo日志滚动。如果是集群部署，需要在所有运行mongodb的机上执行此命令。
Scrapyd运行时会输出日志到本地，导致日志文件会越来越大，几十个G，这个其实就是Scrapy控制台的输出。 但是这个日志其实有用的部分也就是最后那几百行而已，如果出错，去日志查看下出错信息就好了。 所以现在可以写一个脚本，来定时更新日志文件，将最后的100行保存下来就好了。 Scrapyd默认的日志目录是在用户文件夹下的logs目录。 所以在这里我们指定dir=~/logs 新建bash脚本，内容如下： #! 执行 crontab -e 我们想要一分钟清理一次日志文件。 输入 */1 * * * * /bin/sh ~/clean.sh 然后退出之后，crontab就可以每隔一分钟执行一次clean.sh，清理日志了。 这样我们就不怕日志文件大量占用主机空间啦~
背景 由于采用了sparkstreaming 任务一直再运行导致日志文件暴涨，达到了硬盘的预警，不得已必须指定策略定期删除日志已保证服务器硬盘空间。 spark的日志分类 spark的日志都有那些： 1.event(history) 2.work 3.executor 解决方法 方案1 一开始为了快速实现日志清理，选择了脚本自动清理，写了shell脚本便于清理历史文件 方案2 spark配置来解决这几个问题 conf文件下面的两个文件中修改配置： 1.解决executor（work目录） 日志太大的问题，修改spark-defaut.conf # 日志循环复写的策略（ Dspark.history.fs.cleaner.interval=1d -Dspark.history.fs.cleaner.maxAge=2d -Dspark.history.retainedApplications=100" 3.woker日志清理同上文件 spark.driver.extraJavaOptions='-Dlog4j.configuration=file:/opt/spark/conf/log4j.properties' \ 总结 再实际应用过程中依然有很多不能日志复写或者不能文件导致日志太大的问题
mysq 正确清理binlog日志 前言： MySQL中的binlog日志记录了数据库中数据的变动，便于对数据的基于时间点和基于位置的恢复，但是binlog也会日渐增大，占用很大的磁盘空间，因此，要对 binlog使用正确安全的方法清理掉一部分没用的日志。 【方法一】手动清理binlog 清理前的准备： ① 查看主库和从库正在使用的binlog是哪个文件 ? 1 purge master logs before'2016-09-01 17:20:00'; //删除指定日期以前的日志索引中binlog日志文件 或 ? 1 purge master logs to'mysql-bin.000022'; //删除指定日志文件的日志索引中binlog日志文件 注意： 时间和文件名一定不可以写错，尤其是时间中的年和文件名中的序号
清理容器 docker ps -a |grep -v 'Up'|awk '{print $1}'|xargs docker rm -v 清理未使用的镜像 docker images -q|xargs docker rmi 深度清理image docker images|sed '1d'|awk '{print $1":"$2}'|xargs docker rmi
本文将介绍如何快速的清理 docker 占用的系统资源，具体点说就是删除那些无用的 镜像、容器、网络和数据卷。 查看 docker 占用的资源 在进行资源清理之前我们有必要搞清楚 docker 都占用了哪些系统的资源。这需要综合使用不同的命令来完成。 通过这些命令查看 docker 使用的资源情况后，相信你已经决定要清理 docker 占用的一些资源了！让我们先从那些未被使用的资源开始。 ：docker image rm $(docker image ls -a -q) 删除数据卷：docker volume rm $(docker volume ls -q) 删除 network：docker 执行一次清理任务： ? 总结 经常清理系统资源不仅能够让系统运行的更流畅，也利于我们把精力集中在相关的重点资源上面。所以建议大家能够使用相关的资源清理命令，让 docker 保持清爽和高效。
日志服务（CLS）是腾讯云提供的一站式日志服务平台，提供了从日志采集、日志存储到日志检索分析、实时消费、日志投递等多项服务，协助用户通过日志来解决业务运营、安全监控、日志审计、日志分析等问题。用户无需关注资源扩容问题，五分钟快速便捷接入，即可享受稳定可靠的日志服务。
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
网站备案
文件存储
命令行工具
SSL 证书
