首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Datanode的磁盘满了怎么办

【背景】 ---- 回家路上,接到运维兄弟的电话,说一线上环境,某个DN异常了,原因是有个磁盘满了,他准备将这个盘剔除出去,重启下DN,问我数据会不会丢失。...【DN运行过程中磁盘写满会怎样】 ---- 首先,DN运行时,单块磁盘写满,是否会引发问题?...答案是不会的,DN内部处理写block逻辑时,会过滤可用空间不满足条件的磁盘(准确的说法应该是卷目录,但一般而言DN会配置多个卷目录,不同的目录位于不同的磁盘上,为了方面理解,后面都先称为磁盘)。...例如:先将某个磁盘写满(如下图所示) 此后,继续向hdfs写入文件,发现写入的文件都正常,已经写满的磁盘不会继续存储新的数据 【DN写block时的磁盘分配策略】 ---- DN中磁盘分配有两种策略...轮询分配 顾名思义,就是从配置的磁盘中,轮流选择一个作为block的存储位置。 当然,选择的磁盘的时候,会进行一次容量的判断,如果不满足条件,则跳过该磁盘

1.8K20
您找到你想要的搜索结果了吗?
是的
没有找到

磁盘又双叒叕满了~

磁盘满告警 某天收到的自动告警短信或者邮件告诉我某机器上的磁盘满了,赶紧登录机器查看。 其实,这都应该定时巡检自动化处理的。...磁盘满告警,又来了 然而,大约xx天后,发现该机器磁盘满了,惊呼奇怪咋这么快又满了。...rm 其实是删除该文件名到文件真正保存到磁盘位置的链接,此时该文件句柄还被服务A打开,因此对应的磁盘空间并没有被系统回收。...为什么1个字节的文件需要占用8个 block 呢, 可以这样理解, block 为磁盘存储的基本的单位,方便磁盘寻址等(这里说的基本单位应该是磁盘物理结构单位例如一个扇区/柱面等,对应一个物理单位)。...不过,遗憾(讽刺)的是最开始的原文竟然找不到了(后补充:源自奇伢存储,链接见评论),各个文章转载的时候,都没注原文。

1.2K40

如果mysql磁盘满了,会发生什么?

作者:会飞的猪 来源:https://testerhome.com/topics/23049 使用命令发现磁盘使用率为100%了,还剩几十兆。...一系列神操作 备份数据库,删除实例、删除数据库表、重启mysql服务,结果磁盘空间均没有释放。 怎么办 网上查了很多资源,说要进行磁盘碎片化整理。原因是datafree占据的空间太多啦。...正在这时,有个不好的消息发生了,那张表格给删掉了,但是磁盘空间还是没有释放啊。 所以对表进行碎片化整理的路也走不通了,因为表没了........./abc 5、重新启动mysql 发现磁盘空间释放了 service mysql start 磁盘空间终于释放了 下一步数据库还原 1、采用navicate备份工具,进行数据库备份 ?...就形成了碎片; (3)当MySQL对数据进行扫描时,它扫描的对象实际是列表的容量需求上限,也就是数据被写入的区域中处于峰值位置的部分; 清除碎片的优点 降低访问表时的IO,提高mysql性能,释放表空间降低磁盘空间使用率

1.5K20

想后台运行没想到导致磁盘满了

:守望先生 ID:shouwangxiansheng 之前在《如何让程序真正地后台运行》一文中提到了程序后台运行的写法,但是里面的示例程序在某些场景下是会有问题的,这里先不说什么问题,我们先看看这个磁盘满的问题是怎么产生的...找到导致磁盘满的程序 当发现磁盘占用比较多的时候,可以通过下面的命令,查看各个挂载路径的占用情况: $ df -h udev 3.9G 0 3.9G 0% /dev...现实常常可能不如意,比如虽然可以通过df命令看到某些挂载路径磁盘占用率比较高,但是始终找不到大文件,那么你就要考虑,是不是大文件看似被删除了,但是还有程序打开。...停止这个进程,你会发现所占用的磁盘空间会被释放。 不完善的daemon实现 通常在终端启动一个程序后,文件描述符0,1,2通常对应标准输入,标准输出,标准错误。...但是由于printf持续向标准输出打印信息,即不断向描述符1打开的文件写入内容,而该文件又是deleted状态,最终可能会导致磁盘空间占用不断增大,但是又找不到实际的大文件。

1.1K30

linux磁盘报警怎么办

转载:运维研习社 如果我们的服务器配置了企业微信或者钉钉的报警,那么我们可能会收到如下的消息....image-20220117165235844 登录服务器,通过 df -Hl 查看 和告警信息一致,接着我们就是要找到导致磁盘空间满的目录或文件,如何找到占用空间大的目录或文件?...很多时候,你会发现,通过 find 或 du 查半天,发现所有加起来的占用空间,和 df 看到的磁盘空间占用,相差很大,就比如我上面的两张图 通过 df 查看,磁盘使用 37G,但是在根目录下通过 du...还有一种经常有人问的问题,就是,通过 df 查看到的磁盘 会发现,Used 和 Avail 加起来不够 Size,莫名被吃掉一部分 其实这是 Linux 文件系统的一种安全策略,它默认会为 root...用户保留 5% 的磁盘空间,留作紧急情况使用。

2.4K20
领券