本文介绍了Linux内核中关于数据一致性的问题，以及为解决这些问题而采用的各种技术和方法。首先介绍了数据一致性问题在Linux内核中的重要性，然后介绍了Linux内核中现有的数据一致性技术和方法，包括O_DIRECT、O_SYNC、FUA、PDflush、barrier等。最后，总结了如何通过这些技术来提高文件系统的可靠性和性能。
之前文章《Linux服务器性能评估与优化(一)》太长，阅读不方便，因此拆分成系列博文：
在专栏之前的几篇文章中，我们总结了缓冲池，缓存页，redo log，undo log，以及数据页和数据行在底层是如何进行存储的，后续介绍了表空间，段，区等概念。这一节比较特殊，讲述的是和Linux有关的交互原理，因为多数的mysql都是部署在linux的服务器上面，本节会简单介绍一下linux是如何处理mysql的请求的，以及linux系统会带来哪些问题
网上关于BIO和块设备读写流程的文章何止千万，但是能够让你彻底读懂读明白的文章实在难找，可以说是越读越糊涂！
我们在cpu篇就提到，iowait高一般代表硬盘到瓶颈了。wait的意思，就是等，就像等正在化妆的女朋友，总是带着一丝焦躁。本篇是《荒岛余生》系列第四篇，I/O篇，计算机中最慢的那一环。其余参见：
不同版本的操作系统的 buffer_head 代表的大小可能不一样，但是都是内存和硬盘交换数据的基本单元。
在日常开发中一些看似司空见惯的问题上，我觉得可能大多数人其实并没有真正理解，或者理解的不够透彻。不信我们来看以下一段简单的读取文件的代码：
编辑手记：本文主要讲解Linux IO调度层的三种模式：cfp、deadline和noop，并给出各自的优化和适用场景建议。 作者简介： 邹立巍 Linux系统技术专家。目前在腾讯SNG社交网络运营部
在计算机出现之前其实就有文件系统的概念了，此时的文件系统指的是用于管理（存储和检索）纸质文件的系统，而在计算机发明之后，文件系统逐渐指的是管理存储介质的系统，它通过简单的接口给用户，方便用户使用存储设备。
几年以前，我被派去厦门上门去分析一个用户的手机卡顿问题，该用户的手机经常莫名无响应，刷机，恢复出厂都没有用，经过一通分析，原来该用户从熟人店里买到了一张盗版的SD卡（这年头坑的就是朋友），该SD卡读写速度很慢，顺序读写只有20MB/s。那为什么SD卡的读写性能对手机性能影响那么大？当时我的知识水平，只能从对比测试中发现这个问题，然后更换SD卡解决了这个问题，但是无法从原理上解释这种现象。经过那么多年的学习积累，我现在终于可以解释这个问题。
#命令如下： 写：time dd if=/dev/zero of=test.dbf bs=8k count=100000 读：dd if=test.dbf bs=8k count=100000 of=/dev/null #表示 每次写入/读取8k的数据，执行100000次。
在存储设备中，使用分层技术，将冷热数据自动分层存放在具有不用读写性能的存储介质上，已经是很普遍的做法，比如 IBM 的 DS8K 中使用的 Easy Tier。这些功能都需要存储设备固件的支持，如何在 Linux 主机上，使用 Linux 现有的机制，实现数据的分层存储？本文主要介绍了 Linux 平台上两种不同的实现分层存储的方案。 背景介绍 随着固态存储技术 (SSD)，SAS 技术的不断进步和普及，存储介质的种类更加多样，采用不同存储介质和接口的存储设备的性能出现了很大差异。SSD 相较于传统的机械硬
相信大家都知道固态硬盘（SSD）的优势在于速度比传统的机械硬盘（HDD）要快，所以现在线上服务器里越来越多看到固态硬盘的出现。不过作为一个对性能数字斤斤计较的开发，我想更精确地弄明白搭载SSD的服务器在IO性能上比搭载HDD的究竟快多少，顺序IO情况下快多少，随机IO情况下又能快多少？终于在最近抽空搞了一次性能测试对比。
ssize_t write(int fd, const void *buf, size_t count);
为了快速构建项目，使用高性能框架是我的职责，但若不去深究底层的细节会让我失去对技术的热爱。 探究的过程是痛苦并激动的，痛苦在于完全理解甚至要十天半月甚至没有机会去应用，激动在于技术的相同性，新的框架不再是我焦虑。 每一个底层细节的攻克，就越发觉得自己对计算机一无所知，这可能就是对知识的敬畏。
由盘片，磁头组成，数据存在盘片的环形磁道上，读写时，磁头移动，定位到数据的磁道，进行数据读写
「 原谅和忘记就意味着扔掉了我们获得的最贵经验 -------《人生的智慧》叔本华」
java TestLinuxDemo
早期硬盘每个扇区以512字节为标准。新一代硬盘扇区容量为4096个字节，也就是所说的4k扇区。 硬盘标准更新，但操作系统一直使用的是512字节扇区的标准，所以硬盘厂商为了保证兼容性，把4k扇区模拟成512字节扇区。 通常文件系统的块（簇）是512字节的倍数，新的系统基本上都设成了4k的倍数。比如Linux的簇一般也是4k。 簇到扇区的映射关系变成了 簇（4k）->512B扇区->4k扇区，这就可能造成簇到扇区映射错位。
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach [1986]第3章详细讨论了缓冲区高速缓存）。 延迟写减少了磁盘读写次数，但是却降低了文件内容的更新速度，使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时，这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与缓冲区高速缓存中内容的一致性，UNIX系统提供了sync、fsync和fdatasync三个函数。 sync函数只是将所有修改过的块缓冲区排入写队列，然后就返回，它并不等待实际写磁盘操作结束。 通常称为update的系统守护进程会周期性地（一般每隔30秒）调用sync函数。这就保证了定期冲洗内核的块缓冲区。命令sync(1)也调用sync函数。 fsync函数只对由文件描述符filedes指定的单一文件起作用，并且等待写磁盘操作结束，然后返回。fsync可用于数据库这样的应用程序，这种应用程序需要确保将修改过的块立即写到磁盘上。 fdatasync函数类似于fsync，但它只影响文件的数据部分。而除数据外，fsync还会同步更新文件的属性。
零拷贝（Zero-Copy）是一个大家耳熟能详的概念，那么，具体有哪些框架会使用到零拷贝呢？在思考这个问题之前，让我们先一起探寻一下零拷贝机制的底层原理。
传统的机械硬盘一般为3.5英寸硬盘，并由多个圆形蝶片组成，每个蝶片拥有独立的机械臂和磁头，每个堞片的圆形平面被划分了不同的同心圆，每一个同心圆称为一个磁道，位于最外面的道的周长最长称为外道，最里面的道称为内道，通常硬盘厂商会将圆形蝶片最靠里面的一些内道(速度较慢，影响性能)封装起来不用；道又被划分成不同的块单元称为扇区，每个道的周长不同，现代硬盘不同长度的道划分出来的扇区数也是不相同的，而磁头不工作的时候一般位于内道，如果追求响应时间，则数据可存储在硬盘的内道，如果追求大的吞吐量，则数据应存储在硬盘的外道；
我们在日常电脑操作中，接触和处理最多的，除了上网，大概就是各种各样的文件了，从本节开始，我们就来探讨文件处理，本节主要介绍文件有关的一些基本概念和常识，Java中处理文件的基本思路和类结构，以及接来下章节的安排思路。 基本概念和常识 二进制思维 为了透彻理解文件，我们首先要有一个二进制思维。所有文件，不论是可执行文件、图片文件、视频文件、Word文件、压缩文件、txt文件，都没什么可神秘的，它们都是以0和1的二进制形式保存的。我们所看到的图片、视频、文本，都是应用程序对这些二进制的解析结果。 作为程序员，我
有时候我们在做维护的时候，总会遇到类似于IO特别高，但不能判定是IO瓶颈还是软件参数设置不当导致热盘的问题.这时候通常希望能知道磁盘的读写速度，来进行下一步的决策.
%us：表示用户空间程序的cpu使用率（没有通过nice调度） %sy：表示系统空间的cpu使用率，主要是内核程序。 %ni：表示用户空间且通过nice调度过的程序的cpu使用率。 %id：空闲cpu %wa：cpu运行时在等待io的时间 %hi：cpu处理硬中断的数量 %si：cpu处理软中断的数量 %st：被虚拟机偷走的cpu 注：99.0 id，表示空闲CPU，即CPU未使用率，100%-99.0%=1%，即系统的cpu使用率为1%。
1、登录Terminal，执行：cat /proc/cpuinfo，就会显示出主机的CPU详细参数，如内核、频率、型号等等，以下是我Linux 系统主机的CPU：
通过讲解如何优雅扩容云硬盘，我们了解了云盘连接到服务器上的具体操作过程。那么，如何进一步了解已挂载硬盘的实际性能呢？你或许会疑惑，测试硬盘性能，为什么不能用Linux系统自带的dd工具呢？而且不少人之前都这么用的：
psutil（进程和系统实用程序）是一个跨平台的库，用于 在Python中检索有关运行进程和系统利用率（CPU，内存，磁盘，网络，传感器）的信息。它主要用于系统监视，分析和限制流程资源以及运行流程的管理。它实现了UNIX命令行工具提供的许多功能，例如：ps，top，lsof，netstat，ifconfig，who，df，kill，free，nice，ionice，iostat，iotop，uptime，pidof，tty，taskset，pmap。psutil目前支持以下平台：
不知道大家有没有产生过一个疑问：从给 Linux 服务器按下开机电源按钮后到启动成功的一段时间里，在这中间 Linux 操作系统都做了哪些事情？
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
1、问题： 最近在做日志的实时同步，上线之前是做过单份线上日志压力测试的，消息队列和客户端、本机都没问题，但是没想到上了第二份日志之后，问题来了： 集群中的某台机器 top 看到负载巨高，集群中的机器
硬件中断发生频繁，是件很消耗 CPU 资源的事情，在多核 CPU 条件下如果有办法把大量硬件中断分配给不同的 CPU (core) 处理显然能很好的平衡性能。 现在的服务器上动不动就是多 CPU 多核、多网卡、多硬盘，如果能让网卡中断独占1个 CPU (core)、磁盘 IO 中断独占1个 CPU 的话将会大大减轻单一 CPU 的负担、提高整体处理效率。 VPSee 前天收到一位网友的邮件提到了 SMP IRQ Affinity，引发了今天的话题：D，以下操作在 SUN FIre X2100 M2 服务器＋
存储，是我们码农每天都要打交道的事情，而当我们面对RAID，SAN，对象存储，分布式数据库等技术的时候，又往往似是而非，存储成了我们熟悉的陌生人。
1、什么是buffer与cache，它们各自的作用是什么 linux系统会把内存分为两种区域： buffer：缓冲区，攒一大波数据，再刷入硬盘 cache：缓存，把硬盘的数据在内存中缓存好，cpu取的时候可以直接从内存取 2、什么是内核态与用户态 内核态——>操作系统正在控制硬件 用户态-->应用程序正在运行 3、机械磁盘的IO延迟时间=平均寻道时间4ms+平均延迟时间5ms 4、一个7200转的硬盘带来的IO延迟大概是9ms 5、操作系统的启动流程是什么？ 1、计算机加电 2、启动BIOS（计算机启动一定会先启动bios系统），扫描启动设备，从某一个启动设备中找到操作系统 3、读取启动设备的第一个扇区的大小（称之为主引导记录mbr） 446 bootloader=》grub程序 64分区信息 2结束标志位 4、grub程序负责将操作系统内核装载入内存，启动操作系统 5、操作系统会让BIOS去检测驱动程序
FIO是测试IOPS的非常好的工具，用来对硬件进行压力测试和验证，支持13种不同的I/O引擎，包括:sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio 等等。他可以通过多线程或进程模拟各种io操作。
写入速度使用命令：time dd if=/dev/zero of=/tmp/test.dat bs=1G count=1
iostat命令是Linux系统上查看I/O性能最基本的工具，其全称为 I/O statistics。iostat能统计磁盘活动情况，也能统计CPU使用情况。 iostat属于sysstat软件包，可以通过命令进行安装：
COS产品支持对数据进行丰富的操作和管理。 CFS产品支持数万客户共享使用且保证数据一致性。 CBS产品结合CVM，可以在其上部署丰富的应用。
零拷贝作用 : 在网络编程中 , 如果要进行性能优化 , 肯定要涉及到零拷贝 , 使用零拷贝能极大的提升数据传输性能 ;
Redis子进程负责AOF或者RDB文件的重写，它的运行过程主要涉及CPU、内存、硬盘三部分的消耗
今天介绍两个重要的工具：stress和stress-ng，用于Linux系统下进行压力测试：
与快速配置云服务器相比，自定义配置提供您更丰富的镜像平台，以及存储、带宽以及安全组等高级设置，您可根据需求选择合适的配置。
今天主要分享继Redis持久化方式RDB、AOF之后的一些常用的Redis问题定位于优化方式。
有关Windows磁盘性能压测，笔者还是强烈推荐使用微软自己开源的压测工具DiskSpd。当然，如果要使用其他磁盘性能压测工具也是可以的，比如：IOMeter（老牌经典）、FIO（更适合Linux）等。
来源：Linux 中国 https://linux.cn/article-401-1.html 文中列出的命令绝对不可以运行，即使你觉得很好奇也不行，除非你是在虚拟机上运行（出现问题你可以还原），因为它们会实实在在的破坏你的系统。所以不在root等高级管理权限下执行命令是很好的习惯。 早晚有一天，Linux 系统会像 Windows 那样流行，用的人越来越多，包括对计算机不是很了解的人，本文的目的就是告诉大家：在Linux给你最大程度自由度的同时，也使得破坏系统变得更加容易，如果你不了解某些命令的意义，下
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
