专栏首页高剑林的专栏数据一致性和 io 类型
原创

数据一致性和 io 类型

对linux内核来说,读写要经过层层路径,才能真正读写硬盘。从io路径来说,io要经过page cache,io调度队列,dispatch队列,ncq队列和硬盘cache,才能真正到达硬盘。

Page cache:page cache是linux内核提供的缓存接口,page cache的名字就说明内核是通过page单元(通常4K大小)来管理cache。读操作首先在page cache查找,如果找到,就复制page cache的内容返回,找不到,才真正调用下层处理。写操作,buffer io 写到page cache就返回,真正的磁盘写,是由内核的pdflush内核线程负责

IO调度队列:

Linux内核提供了四种io调度算法,as,deadline,cfq,noop。每种调度算法都实现了一个调度队列,io首先在队列中排序(noop最简单,不排序),然后根据条件,决定是否到dispatch队列。从调度队列下发,涉及一个unplug的概念。也就是说,调度队列通常处于阻塞(plug)状态,当执行unplug操作时,io离开调度队列,开始下发。unplug是个循环动作,将调度队列的所有io都尝试下发,直到不能下发为止。

总结一下,执行unplug有下列条件:

  • 第一个io启动了三毫秒的定时器,定时器到了,会unplug,开始下发
  • io请求超过设定的限制(缺省是4),执行unplug,开始下发
  • Sync标志的io,立即unplug,开始下发。
  • Barrier标志的io,清空调度队列后,执行unplug,开始下发
  • 一个io执行完毕,也要unplug队列。

dispatch队列:dispatch队列对应用关系不大。但是内核层对日志文件系统的joural数据,提供了一种barrier io,这个主要在dispatch队列实现。

Ncq队列:

NCQ是sata硬盘自身的队列。(sas硬盘的队列叫TCQ)。NCQ队列是由操作系统创建的,但是加入到NCQ队列的io,是由硬盘来决定执行顺序。为了实现这个,NCQ队列创建在内核的DMA内存中,然后通知硬盘,至于硬盘选择那个io执行,是硬盘自身选择的结果。

硬盘cache:

硬盘cache是硬盘内部的cache。如果打开硬盘cache的话,写硬盘的io,首先是到硬盘cache,而非直接落到硬盘。

一. Pdflush的回写逻辑

Pdflush提供了四个参数来控制回写。在内核实现中,pdflush的回写策略控制还比较复杂。

但是简单一点说,内核缺省情况下,每5秒钟扫描脏页,如果脏页生存时间超过30秒(缺省数值),就刷脏页到磁盘。

详细的可参考本人写的《 linux内核回写机制和调整 》一文。

二. 数据下盘和一致性分析

从上文的分析,通常的io写,到page cache层就结束返回了,并没真正写到硬盘。这样机器掉电或者故障的时候,就有丢失数据的风险。为了尽快下io,系统又提供了一些措施解决这个问题。

O_SYNC:打开文件的时候,可以设置O_SYNC标志,在page cache的写完成后,如果文件有O_SYNC标志,立即开始将io下发,进入调度队列。随后将文件系统的meta data数据也下发,然后开始循环执行unplug操作,直到所有的写io完成。和回写机制比较,O_SYNC没有等脏页生存30秒,就尝试立即下发到硬盘。

O_SYNC本质就是io下发,然后执行unplug操作。O_SYNC的几个问题是:

  • 写page cache时候要把io拆成4k的单元。回写也是每次写4K的页面,如果是大io,就需要内核的调度层把4k的io重新再合并起来。这是冗余的过程
  • 每个io都要立即unplug,这样就不能实现io的排序和合并。O_SYNC的性能相当低。
  • 如果多个进程并发写,不能保证写操作的顺序。Ncq队列根据硬盘磁头的位置和磁盘旋转位置确定执行的顺序。一般是meta data数据一起写,这样存在不同步的风险。
  • 如果硬盘cache打开了,那么写只到硬盘cache就返回了。存在丢数据的风险。通常存储厂商都要求硬盘cache关闭。不过腾讯的服务器都是打开硬盘cache的。

O_DIRECT:打开文件的时候,可设置O_DIRECT标志。O_DIRECT不使用内核提供的page cache。这样读操作,就不会到page cache中检查是否有需要数据存在。而写操作,也不会将数据写入page cache,而是送入调度队列。

O_DIRECT执行写io的时候,会置WRITE_SYNC标志。这个标志在io进入调度队列后,会执行一次unplug操作。而不是像O_SYNC那样,循环执行unplug操作。

为了避免O_SYNC每个写io都要阻塞等待的问题,系统提供了fsync和fdatasync系统调用,可以让应用层自己控制同步的时机。

Fsync:fsync将文件范围内,所有的脏页面都下发到硬盘。然后也要将脏的元数据写到 硬盘。如果文件的inode本身有变化,同样需要写到硬盘。

Fdatasync:fdatasync和fsync的区别其实很轻微。比如ext2文件系统,如果文件的inode只有轻微的变化,fdatasync此时不更新inode。典型的轻微变化是文件atime的变化。而在ext3文件系统,fsync和fdatasync是完全一样的。不管是否轻微变化,都要回写inode。

Fsync和fdatasync都是对整个文件的操作,如果应用只想刷新文件的指定位置,这两个系统调用就失效了。所以新的内核还提供了sync_file_range来指定范围写。不过要注意,sync_file_range是不回写文件的meta data。必须应用层保证meta data没有更新。

三. Pdflush的回写逻辑

Pdflush提供了四个参数来控制回写。在内核实现中,pdflush的回写策略控制还比较复杂。

但是简单一点说,内核缺省情况下,每5秒钟扫描脏页,如果脏页生存时间超过30秒(缺省数值),就刷脏页到磁盘。

详细的可参考本人写的《 Linux内核回写机制和调整 》一文。

四. 内核的barrier io

从上文的分析看出,内核没有为用户态提供保证顺序的,确定写到硬盘的系统调用。但是对于内核文件系统来说,必须提供这样的接口。比如日志文件系统,必须要数据落到硬盘后,才能修改元数据的日志。否则,出错情况下就可能造成文件系统崩溃。为此,内核专门提供了一个barrier方式实现日志的准确写到硬盘。

文件系统的barrier io,意味着,这个barrier io之前的写io必须完成。同时,在barrier io完成之前(是真正写到硬盘,不是写到cache就返回),也不能有别的写io再执行。为此,上文分析的dispatch 队列完成了这个功能。

当写io从调度队列进入dispatch队列的时候,要检查是否是一个barrier io。如果是barrier io,dispatch首先在队列中插入一个SCSI命令SYNCHRONIZE_CACHE,这个命令指示硬盘cache刷所有的写io到硬盘。然后再下发barrier io,之后再插入一个SYNCHRONIZE_CACHE命令,指示硬盘将刚才的barrier io真正写到硬盘(还有一种方式,是通过命令携带FUA标志实现不经过cache直接下盘)。

五. 总结

对于单一的存储系统来说,数据一致性,性能和可靠性是几个矛盾的指标。标准的linux内核在这方面也有些左右为难。比如内核在io失败的情况下,一般会重试(内核设置了5次的重试)。这样重试时间可能超过1分钟,这对互联网系统的业务来说是不可承受的。如何找到合适点,平衡几个指标的关系,从操作系统最底层提升产品的可靠性和性能,是一项长期的任务。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 缓存和DB的数据一致性

    在高并发的业务场景下(如秒杀或者双十一),数据库最容易挂掉环节。所以,就需要使用Redis做一个缓冲操作,让请求先访问到Redis,如果Redis命中就不在访...

    黑洞代码
  • 缓存和DB中数据一致性

    但是缓存淘汰了以后,主库还没有同步到从库,又有一个读请求,把旧的数据读到缓存,也会造成不一致。

    用户5325874
  • 论Spark Streaming的数据可靠性和一致性

    摘要:Spark Streaming自发布起就得到了广泛的关注,然而作为一个年轻的项目,需要提升的地方同样很多,比如1.2之前版本driver挂掉可能会丢失数据...

    Spark学习技巧
  • Spring和性——数据的类型转换

    在字符串到实体转换一文中介绍了Spring核心框架中使用PropertyEditor将任何字符串转换为数字、实体的方法。除了字符串到实体,Spring还提供了更...

    随风溜达的向日葵
  • 浅析数据一致性

    在数据有多分副本的情况下,如果网络、服务器或者软件出现故障,会导致部分副本写入成功,部分副本写入失败。这就造成各个副本之间的数据不一致,数据内容冲突。 实践中,...

    哲洛不闹
  • 浅谈数据一致性

    互联网的工程开发,与传统软件相比,往往要面临非常复杂多变的业务场景,这是老生常谈的问题了。虽然在工程开发与协同领域已经有了比较多的实践案例,但对于比较底层的一些...

    木东居士
  • 谈谈数据一致性

    数据一致性这个单词在平常开发中,或者各种文章中都能经常看见,我们常常听见什么东西数据不一致了,造成了一定的损失,赶快修复一下。但是很多同学对一致性具体代表什么意...

    用户5397975
  • 数据一致性-对账

    一致性分为强一致性和弱一致性。 强一致性的协议和手段主要有:二阶段提交(2PC)、三阶段提交(3PC)、TCC(Try-Confirm-Cancel)补偿...

    静儿
  • Redis与数据库数据一致性

    可能谈到保持Redis与Mysql双库的数据一致性,可能很多人最先想到的方案就是读请求和写请求串行化,串到一个内存队列里去。但是这个方案有着一个致命的缺点:读请...

    创译科技
  • MySQL和Redis如何保证数据一致性?

    由于缓存的高并发和高性能已经在各种项目中被广泛使用,在读取缓存这方面基本都是一致的,大概都是按照下图的流程进行操作:

    PHP开发工程师
  • 简单数据类型和复杂数据类型

    简单类型(基本数据类型、值类型):在存储时变量中存储的是值本身,因此叫做值类型,包括string ,number,boolean,undefined,null

    星辰_大海
  • 数据库事务的一致性和原子性浅析

    本文参考自知乎 Oracle事务的概念:事务用户保证数据的一致性,它是由一组dml语句组成,这组dml语句要么全部执行成功,要么全部执行失败。 1、事务一致性 ...

    郑小超.
  • Kafka 是如何保证数据可靠性和一致性

    学过大数据的同学应该都知道 Kafka,它是分布式消息订阅系统,有非常好的横向扩展性,可实时存储海量数据,是流数据处理中间件的事实标准。本文将介绍 Kafka ...

    大数据技术架构
  • JavaScript-简单数据类型和复杂数据类型

    简单类型(基本数据类型、值类型):在存储时变量中存储的是值本身,包括string ,number,boolean,undefined,null

    清出于兰
  • JavaScript 简单数据类型和复杂数据类型

    ​ 简单类型(基本数据类型、值类型):在存储时变量中存储的是值本身,包括string ,number,boolean,undefined,null

    梨涡浅笑
  • 「数据一致性」理解分布式系统中的一致性

    多节点提供读写服务,确保高可用性和可扩展性(ZooKeeper, DNS, redis集群)

    首席架构师智库
  • Spark CommitCoordinator 保证数据一致性

    本文通过 Local mode 执行如下 Spark 程序详解 commit 原理

    Jason Guo
  • JavaScript中数据类型和typeof返回的数据类型

    3.typeof(Object)和typeof(Array)的结果是function,因为Object和Array本身就是内置函数。

    IT人一直在路上
  • 关系型数据库的ACID(原子性、一致性、隔离性与持久性)

    Coxhuang

扫码关注云+社区

领取腾讯云代金券