硬盘写到一半时断电,文件系统里会发生什么?

知乎问题:

断电时文件系统发生了什么?硬盘又发生了什么?下一次开机时写到一半的文件在系统层面还在吗?在底层还在吗?

更进一步的, 文件系统如何保证事务性, 会不会存在某种极端情况导致例如最后几个bit还没写完, 文件系统却认为它成功了的情况?

回答不限任何文件系统,谢谢!

作者「北极」的回答:

断电的一瞬间,很多事情是无法确定的:

1.你无法确定你试图向设备驱动发送的写指令是否成功,驱动程序本身一般都有缓存;

2. 即使写指令正常返回,你也无法确定设备实际上是否写成功,因为设备本身可能也有缓存。目前没有设备能保证写指令返回的情况下,所有数据一定成功的保存在介质上(但部分厂商能保证少量数据一定能成功写入),对存储设备的flush操作并非绝对可靠;

3. 哪些成功哪些失败可能是乱序的,换句话说,如果先发送写请求A,再发送写请求B,并且都成功返回,掉电时请求A可能丢失,但B成功(NCQ功能);

4. 机械式磁盘可能会出现丢失半截数据的情况(比如,一个512字节扇区只写入了100字节,也就是题主说的bit级错误),但这种一般都会通过校验位检测出来。

因为有以上这么多的限制,实际上文件系统一般没办法保证数据一定不丢失,甚至哪些丢失哪些能恢复也是不确定的。

一般来说,文件系统有以下的几种策略:

1. 完全不管错误的事情,错了就错了;

2. 打标记位的方式,如果怀疑有错,通过磁盘检测功能恢复;

3. 在设计上保证文件系统结构上可恢复,但不保证用户数据可恢复;

4. 能在用户数据层面上保证数据的绝对正确。

第一种和第二种策略现在比较少见,FAT文件系统算是属于这类;主流文件系统基本上都能保证第三种,比如NTFS之类的;第四种比较难,一般都要配合存储驱动一起,多见于Flash介质的专属文件系统。

保证数据不损坏,具体的方案一般有:

方案1:Copy-On-Write,写数据的时候不在原来的位置写,而是先读一份,然后写到另外一个位置,当确认写成功时,把文件系统的指针指向新的位置。如下图:

实际应用中,比这个情况复杂,因为Data2写入的过程中,File1本身的一些信息(修改时间等)也发生了变化,所以CopyOnWrite产生的影响不止这一个块,而是很多。

方案2:日志(Journal)技术。使用日志记录meta-data甚至是数据块的变化情况(NTFS就是这种策略),一旦出现掉电情况,在日志中反推到一个正确的状态上,就可以保证meta-data不损坏。

常见的方案就这两种,当然还有别的更复杂的技术,可以参考这个链接(Comparison of file systems),但不管用什么方案,本质上都是以牺牲性能为代价换取结构上的稳定。

最后回到题主的问题,文件系统如何保证数据的正确性?如果是指文件的数据部分,是无法保证的,因为文件系统无法确定数据到底写没写进去,绝大多数文件系统只能保证自身结构是正确的,但这个正确可能是回滚之后的状态,具体回滚多少内容,文件系统自己也不能保证。

这事说起来挺复杂的,不同文件系统,不同设备,不同介质,效果都是有区别的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java技术学习之道

分布式之数据库和缓存双写一致性方案解析

1163
来自专栏微信公众号:Java团长

分布式之数据库和缓存双写一致性方案解析

首先,缓存由于其高并发和高性能的特性,已经在项目中被广泛使用。在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作。

712
来自专栏Linuxer的专栏

谢宝友:深入理解 Linux RCU 从硬件说起之内存屏障

本文从硬件的角度引申出内存屏障,这不是内存屏障的详尽手册,但是相关知识对于理解RCU有所帮助。

4250
来自专栏CSDN技术头条

Redis错误配置详解

Redis提供了许多提高和维护高效内存数据库使用的工具。在无需额外配置应用层的前提下,Redis独特的数据类型、指令和命令调优就可以满足应用的需求,但是错误的配...

18810
来自专栏Java技术

分布式之数据库和缓存双写一致性方案解析!

首先,缓存由于其高并发和高性能的特性,已经在项目中被广泛使用。在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作:

953
来自专栏芋道源码1024

Java中高级面试题(4)

这里选了几道高频面试题以及一些解答。不一定全部正确,有一些是没有固定答案的,如果发现有错误的欢迎纠正,如果有更好的回答,热烈欢迎留言探讨。

890
来自专栏芋道源码1024

【死磕Java并发】—- J.U.C之并发工具类:CyclicBarrier

此篇博客所有源码均来自JDK 1.8 CyclicBarrier,一个同步辅助类,在API中是这么介绍的: 它允许一组线程互相等待,直到到达某个公共屏障点 (c...

3144
来自专栏北京马哥教育

我所理解的性能测试是什么?

扯淡 首先说明这篇博客是文不对题的。起这个名字想法来源自韩寒的《我所理解的生活》,之前看过一个关于这本书的视频,感觉巨牛X,于是就想写一篇《我所理解的性能测试...

3589
来自专栏架构师小秘圈

为什么分布式一定要有一致性方案?

1402
来自专栏java思维导图

Java中高级面试题部分答案解析(4)

这里选了几道高频面试题以及一些解答。不一定全部正确,有一些是没有固定答案的,如果发现有错误的欢迎纠正,如果有更好的回答,热烈欢迎留言探讨。

903

扫描关注云+社区