本文介绍了Linux内核中关于数据一致性的问题，以及为解决这些问题而采用的各种技术和方法。首先介绍了数据一致性问题在Linux内核中的重要性，然后介绍了Linux内核中现有的数据一致性技术和方法，包括O_DIRECT、O_SYNC、FUA、PDflush、barrier等。最后，总结了如何通过这些技术来提高文件系统的可靠性和性能。
几年以前，我被派去厦门上门去分析一个用户的手机卡顿问题，该用户的手机经常莫名无响应，刷机，恢复出厂都没有用，经过一通分析，原来该用户从熟人店里买到了一张盗版的SD卡（这年头坑的就是朋友），该SD卡读写速度很慢，顺序读写只有20MB/s。那为什么SD卡的读写性能对手机性能影响那么大？当时我的知识水平，只能从对比测试中发现这个问题，然后更换SD卡解决了这个问题，但是无法从原理上解释这种现象。经过那么多年的学习积累，我现在终于可以解释这个问题。
编辑手记：本文主要讲解Linux IO调度层的三种模式：cfp、deadline和noop，并给出各自的优化和适用场景建议。 作者简介： 邹立巍 Linux系统技术专家。目前在腾讯SNG社交网络运营部
NVMe SSD具有高性能、低时延等优点，是目前存储行业的研究热点之一，但在光鲜的性能下也同样存在一些没有广为人知的问题，而这些问题其实对于一个生产系统而言至关重要，例如：
ACE是一个很成熟的中间件产品，为自适应通讯环境，但它过于宏大，一堆的设计模式，架构是一层又一层，对初学者来说，有点困难。
廖威雄，就职于珠海全志科技股份有限公司，负责Linux IO全栈研发、性能优化、开源社区开发交流、Linux 内核开源社区pstore/blk,mtdpstore模块的作者(与maintainer交流中)、大客户存储技术支持、全志首个UBI存储方案主导人、全志首个RTOS NFTL主导人。
在日常开发中一些看似司空见惯的问题上，我觉得可能大多数人其实并没有真正理解，或者理解的不够透彻。不信我们来看以下一段简单的读取文件的代码：
在专栏之前的几篇文章中，我们总结了缓冲池，缓存页，redo log，undo log，以及数据页和数据行在底层是如何进行存储的，后续介绍了表空间，段，区等概念。这一节比较特殊，讲述的是和Linux有关的交互原理，因为多数的mysql都是部署在linux的服务器上面，本节会简单介绍一下linux是如何处理mysql的请求的，以及linux系统会带来哪些问题
所谓请求合并就是将进程内或者进程间产生的在物理地址上连续的多个IO请求合并成单个IO请求一并处理，从而提升IO请求的处理效率。在前面有关通用块层介绍的系列文章当中我们或多或少地提及了IO请求合并的概念，本篇我们从头集中梳理IO请求在block layer的来龙去脉，以此来增强对IO请求合并的理解。 首先来看一张图，下面的图展示了IO请求数据由用户进程产生，到最终持久化存储到物理存储介质，其间在内核空间所经历的数据流以及IO请求合并可能的触发点。
先讲一个作者大约5-6年前我在某当时很火的一个应用分发创业公司的面试小插曲，该公司安排了一个刚工作1年多的一个同学来面我，聊到我们项目中的配置文件里写的一个开关，这位同学就跳出来说，你这个读文件啦，每个用户请求来了还得多一次的磁盘IO，性能肯定差。借由这个故事其实我发现了一个问题，虽然我们中的大部分人都是计算机科班出身，代码也写的很遛。但是在一些看似司空见惯的问题上，我们中的绝大多数人并没有真正理解，或者理解的不够透彻。
传统的机械硬盘一般为3.5英寸硬盘，并由多个圆形蝶片组成，每个蝶片拥有独立的机械臂和磁头，每个堞片的圆形平面被划分了不同的同心圆，每一个同心圆称为一个磁道，位于最外面的道的周长最长称为外道，最里面的道称为内道，通常硬盘厂商会将圆形蝶片最靠里面的一些内道(速度较慢，影响性能)封装起来不用；道又被划分成不同的块单元称为扇区，每个道的周长不同，现代硬盘不同长度的道划分出来的扇区数也是不相同的，而磁头不工作的时候一般位于内道，如果追求响应时间，则数据可存储在硬盘的内道，如果追求大的吞吐量，则数据应存储在硬盘的外道；
概述 什么是性能？ 性能最通俗的衡量指标就是“时间”，CPU的使用率指的是CPU用于计算的时间占比，磁盘使用率指的是磁盘操作的时间占比，当CPU使用率100%时，意味着有部分请求来不及计算，响应时间
导言：运维工作中除了要维持平台的稳定运行以外，还得对服务器的性能进行优化，让服务器发挥出良好的工作性能是稳定运行的基础。腾讯互娱DBA团队的汪伟（simon）在这一领域里整理出了一套性能优化的资料为大家在性能优化提供充足的方向。
tc(Traffic Control) 是linux系统中常用的来控制传输速率、模拟网络延时丢包等场景的工具，tc命令有三个主要的概念，是qdisc、class和filter，qdisc又分为classless qdisc和classful qdisc，在控制传输速度的方面大致有两种用法
在计算机的世界里，我们可以将业务进行抽象简化为两种场景——计算密集型和IO密集型。这两种场景下的表现，决定这一个计算机系统的能力。数据库作为一个典型的基础软件，它的所有业务逻辑同样可以抽象为这两种场景的混合。因此，一个数据库系统性能的强悍与否，往往跟操作系统和硬件提供的计算能力、IO能力紧密相关。
最近一个项目做了一个模拟u盘的设备，但是在read虚拟u盘的内容时必须每次都从磁盘内读取，而不是从系统的cache中读取，由于这个问题，就查资料看了下read的系统调用，以及文件系统的一些内容。由于文件系统涉及面较广，例如虚拟文件系统（VFS），页缓存，块缓存，数据同步等内容，不可能全部分析到位，这里只记录和read有关的两种使用方式。cached IO和direct IO。 1. 什么是系统调用 首先系统调用能做那些事呢？概括来说，大概有下面这些事需要系统调用来实现。 控制硬件：系统调用往往作为硬件资源和
在 Linux 系统中，传统的访问方式是通过 write() 和 read() 两个系统调用实现的，通过 read() 函数读取文件到到缓存区中，然后通过 write() 方法把缓存中的数据输出到网络端口。
结合这个图，想想Linux系统编程里用到的Buffered IO、mmap(2)、Direct IO，这些机制怎么和Linux IO栈联系起来呢？上面的图有点复杂，我画一幅简图，把这些机制所在的位置添加进去：
作为一个程序员，在日常工作中，我们往往对于程序的运行情况十分关注，而随着计算机系统变得越来越复杂，人们想要详细地了解软件和系统内核的行为也变得越来越困难，这导致在计算机系统中，“黑天鹅”事件越来越多，甚至很多“黑天鹅”事件其实是长期没有被发现的“灰犀牛”事件。因此，从系统中收集和分析数据显得至关重要。此时，一个能够监控、嗅探内核运行状态的工具包就显得十分重要了，BPF 就是这样一个工具包。
本文是“Linux内核分析”系列文章的第一篇，会以内核的核心功能为出发点，描述Linux内核的整体架构，以及架构之下主要的软件子系统。之后，会介绍Linux内核源文件的目录结构，并和各个软件子系统对应。
DAX: 磁盘(disk)的访问模式有三种 BUFFERED、DIRECT、DAX。前面提到的由于page cache存在可以避免耗时的磁盘通信就是BUFFERED访问模式的集中体现；但是如果我要求用户的write请求要实时存储到磁盘里，不能只在内存中更新，那么此时我便需要DIRECT模式；大家可能听说过flash分为两种nand flash和nor flash，nor flash可以像ram一样直接通过地址线和数据线访问，不需要整块整块的刷，对于这种场景我们采用DAX模式。所以file_operations的read_iter和write_iter回调函数首先就需要根据不同的标志判断采用哪种访问模式, kernel在2020年12月的patch中提出了folio的概念，我们可以把folio简单理解为一段连续内存，一个或多个page的集合
操作系统堪称是IT皇冠上的明珠，Linux阅码场专注Linux操作系统内核研究, 它的文章云集了国内众多知名企业一线工程师的心得，畅销著作有《linux设备驱动开发详解 》等。
本文转载自https://0xffffff.org/2017/05/01/41-linux-io/
近日，由 TiDB 社区主办，专属于全球开发者与技术爱好者的顶级挑战赛事——TiDB Hackathon 2020 比赛圆满落幕。今年是 TiDB Hackathon 第四次举办，参赛队伍规模创历届之最，共有 45 支来自全球各地的队伍报名，首次实现全球联动。经过 2 天时间的极限挑战， 大赛涌现出不少令人激动的项目。
我就知道有人会这么说，然而那样就成了一篇议论文了，而我只是想写一篇随笔。所以，不管事实是不是那样，反正我就是觉得Windows，MacOS，iOS都很流畅，而Linux，Android却很卡。当然了，这里说的是GUI，如果考量点换成是Web服务的吞吐和时延，那估计结论要反过来了，不过那是客户端程序感觉到的事，作为人，who care！
1.缓冲 I/O，是指利用标准库缓存来加速文件的访问，而标准库内部再通过系统调度访问文件。
蒋彪，腾讯云高级工程师，10+年专注于操作系统相关技术，Linux内核资深发烧友。目前负责腾讯云原生OS的研发，以及OS/虚拟化的性能优化工作。
经过不断地迭代，内核目前已经非常庞大，有上百万的代码。内核的执行是按需的，例如当用户级别的应用程序发起了系统调用，或者设备发送了一个中断（interrupt）的时候。另外，某些内核线程回异步执行一些维护性的工作，可能包含内核时钟程序以及内存管理任务，但是这些任务都会尽量保持轻量级并只占用很少的 CPU 资源。
链接：https://blog.csdn.net/dog250/article/details/96362789
ASIO是一个久经迭代的库, 所以版本比较多, 不同版本的差异也比较大, 在开始具体的讲述前, 我们先来看一下ASIO的版本情况, 也方便大家知道我们所选用的ASIO版本, 以及它与最新的版本的差异所在.
本栏目Java开发岗高频面试题主要出自以下各技术栈：Java基础知识、集合容器、并发编程、JVM、Spring全家桶、MyBatis等ORMapping框架、MySQL数据库、Redis缓存、RabbitMQ消息队列、Linux操作技巧等。
我就知道有人会这么说，然而那样就成了一篇议论文了，而我只是想写一篇随笔。所以，不管事实是不是那样，反正我就是觉得Windows，MacOS，iOS都很流畅，而Linux，Android却很卡。当然了，这里说的是GUI，如果考量点换成是Web服务的吞吐和时延，那估计结论要反过来了，不过那是客户端程序感觉到的事，作为人，who cares！
高并发也算是这几年的热门词汇了，尤其在互联网圈，开口不聊个高并发问题，都不好意思出门。高并发有那么邪乎吗？动不动就千万并发、亿级流量，听上去的确挺吓人。但仔细想想，这么大的并发与流量不都是通过路由器来的吗？
这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。对于我们的代理服务器，相当于把io性能提升到3-5倍。 在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。 文件系统缓存lin
本文主要是《Linux内核设计与实现》这本书的读书笔记，这本书我读了不下十遍，但依然感觉囫囵吞枣。我结合自己的理解，从这本书中整理出了一些运维应该了解的内核知识，希望对大家能够有所帮助。另外，推荐大家读下这边书，这本书主要讲内核设计、实现原理和方法，有利于理解内核的一些机理。
操作系统中，每时每刻都有着许许多多的进程在执行着，即便是现在最为强大的多核心 CPU，同时能够执行的任务数量也是相当有限的，那么，在这样资源有限的场景下，这么多进程如何来调度，哪些进程更重要哪些进程的执行可以稍微暂缓呢？这就是操作系统调度器的工作。本文我们就来详细介绍一下。
公有云，私有云（OpenStack/cloudstack + KVM/XEN，oVirt), 混合云 服务监控 配置管理
C++ 在互联网服务端开发方向依然占据着相当大的份额；百度，腾讯，甚至以java为主流开发语言的阿里都在大规模使用C++做互联网服务端开发，今天以C++为例子，分析一下要支持协程，需要考虑哪些问题，如何权衡利弊，反过来也可以了解到协程适合哪些场景。
当前，各大公司都存在着线下集群利用率不高的问题，且在尝试进行多业务类型的混合部署后，还可能会遇到各种稳定性和业务质量方面的挑战。因此，贝联珠贯在大数据领域针对万台规模的集群展开了研究，并成功落地了一种基于增强型 RunC 的新方案，在第一阶段的 4 个月里，成功地帮助客户提升了资源利用率，年度降本超过千万人民币，同时业务使用体验并未受到影响。在今年 9 月份的 QCon 全球软件开发大会（北京站），贝联珠贯 (www.lccomputing.com) 合伙人王元良老师以《增强型 RunC 的最佳实践：克服离线高压力混部场景的关键挑战》为题，分享了实际落地经验。本文由贝联珠贯公众号（ID：Lccomputing）整理节选自此次演讲。 完整幻灯片下载地址： https://qcon.infoq.cn/202309/beijing/presentation/5440
总览：Go中网络交互采用多路复用的技术，具体到各个平台，即Kqueue、Epoll、Select、Poll等，下面以Linux下的Epoll实现为例进行分析。
如果你觉得这些问题都很简单，都能很明确的回答上来。那么很遗憾这篇文章不是为你准备的，你可以关掉网页去做其他更有意义的事情了。如果你觉得无法明确的回答这些问题，那么就耐心地读完这篇文章，相信不会浪费你的时间。受限于个人时间和文章篇幅，部分议题如果我不能给出更好的解释或者已有专业和严谨的资料，就只会给出相关的参考文献的链接，请读者自行参阅。
现代计算机之父冯诺伊曼最先提出程序存储的思想，并成功将其运用在计算机的设计之中，该思想约定了用二进制进行计算和存储，还定义计算机基本结构为 5 个部分，分别是中央处理器（CPU）、内存、输入设备、输出设备、总线。
但凡懂Linux内核的，都知道Linux内核的CFS进程调度算法，无论是从2.6.23将其初引入时的论文，还是各类源码分析，文章，以及Linux内核专门的图书，都给人这样一种感觉，即 CFS调度器是革命性的，它将彻底改变进程调度算法。 预期中，人们期待它会带来令人惊艳的效果。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
