测试环境某台Docker主机触发磁盘空间报警,经过排查与分析发现是某个docker容器内的应用日志过大导致的,下面是具体的排查步骤。
日志文件: php容器 stderr日志 PHP容器: 使用 php:5.6-fpm 镜像 Docker主机: 系统: Ubuntu Server 16.04 Storage Driver: overlay2 容器平台: Rancher 1.6
1. 磁盘空间(文件系统)状态
df -Th / Filesystem Type Size Used Avail Use% Mounted on /dev/vda1 ext4 99G 70G 25G 75% /
2. 统计目录占用磁盘空间
du -h --max-depth=1 /
发现最大目录依次如下列表:
/var/ /var/lib/ /var/lib/docker/ /var/lib/docker/overlay2/
最终占用最大的目录是: ef24649...省略...f7e6933/
这个目录是某个容器临时存储层目录,其生命周期取决于这个容器的生命周期,目录的名称也是临时存储层的ID,我们可以根据这个ID找到目标容器。
3. 找到这个容器
for c in `docker ps -qa`; \ do \ docker inspect $c \ | grep -i 'ef24649...省略...f7e6933' && echo $c; \ done
8b251ce7f7ae
这里使用Shell循环依次对比当前主机的容器是否包含这个临时存储层ID。
4. 根据容器ID找到容器名字
docker inspect -f '{{ .Name }}' 8b251ce7f7ae /r-css-css-server-1-d3579e44
5. 释放磁盘空间
最后我们要释放被占用的磁盘空间,可以根据找到容器ID/名称在rancher平台上升级这个应用(旧的容器将被替换删除)。
6. 验证磁盘空间
df -Th / Filesystem Type Size Used Avail Use% Mounted on /dev/vda1 ext4 99G 17G 78G 18% /
最后来总结下文章中的知识点
本文分享自微信公众号 - 运维录(gh_70d95b8f5f7c),作者:东南
原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。
原始发表时间:2019-10-17
本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。
我来说两句