通用块层是Linux中的一个重要组件，用于管理不同块设备的统一接口，减少不同块设备的差异带来的影响。它位于文件系统和磁盘驱动之间，类似于Java中的适配器模式，让我们无需关注底层实现，只需提供固定接口即可。
上周写好了DragonOS的AHCI驱动程序，能够通过DMA读写SATA硬盘，在这里简单记录一下。
在Linux的世界里，设备是构成系统的基础，它们使得计算机能够与外界互动。Linux设备可以大致分为几种类型，每种类型都有其独特的特性和用途。🌌让我们一起探索这些设备类型及其特性。
在Linux系统中，我们经常用free命令来查看系统内存的使用状态。在一个RHEL6的系统上，free命令的显示内容大概是这样一个状态：
在计算机的世界里，我们可以将业务进行抽象简化为两种场景——计算密集型和IO密集型。这两种场景下的表现，决定这一个计算机系统的能力。数据库作为一个典型的基础软件，它的所有业务逻辑同样可以抽象为这两种场景的混合。因此，一个数据库系统性能的强悍与否，往往跟操作系统和硬件提供的计算能力、IO能力紧密相关。
在 Linux 系统中一切皆文件，除了通常所说的狭义的文件以外，目录、设备、套接字和管道等都是文件。
首先，我们知道驱动是内核的一部分，那么驱动在内核中到底扮演了什么角色呢？ 设备驱动程序在内核中的角色：他们是一个个独立的“黑盒子”，使某个特定的硬件响应一个定义良好的内部编程接口，这些接口完全隐藏了设备的工作细节。（说白了，驱动程序除了对外提供特定的接口外，任何实现细节对应用程序都是不可见的。）用户的操作通过一组标准化的调用执行，而这些调用独立于特定的驱动程序。驱动程序的任务是把这些标准化调用映射到实际硬件的设备特有操作上。 在编写驱动程序时，程序员应该特别注意下面这个概念：编写访问硬件的内核代码时，不要给
2.一个不错的中文Linux手册：http://cpp.ezbty.org/manpage
裸机开发通常指在没有操作系统支持的环境中直接在硬件上运行程序的开发。这种开发方式要求开发者直接与硬件交互，编写控制硬件的低级代码。这包括对处理器、存储器、输入输出接口等硬件的直接控制和管理。与基于操作系统的开发相比，裸机开发更加接近硬件层面，对硬件的了解和控制能力要求更高，但也允许开发者更精细地管理硬件资源和性能。
Linux系统文件操作主要是通过块设备驱动来实现的。 块设备主要指的是用来存储数据的设备，类似于SD卡、U盘、Nor Flash、Nand Flash、机械硬盘和固态硬盘等。块设备驱动就是用来访问这些存储设备的，其与字符设备驱动不同的是：
最近，烦心事有点多，博客也像是进入了便秘期。虽然还远远不到说放弃的地步，但总有一种挤不出牙膏的郁闷感。很怀念前几个月的冲劲和激情，一天都能存好几篇优质草稿。 看来，张戈博客是首次进入瓶颈阶段了！没办法
键盘可以说是我们最常使用的输入硬件设备了，但身为程序员的你，你知道「键盘敲入 A 字母时，操作系统期间发生了什么吗」？
廖威雄，就职于珠海全志科技股份有限公司，负责Linux IO全栈研发、性能优化、开源社区开发交流、Linux 内核开源社区pstore/blk,mtdpstore模块的作者(与maintainer交流中)、大客户存储技术支持、全志首个UBI存储方案主导人、全志首个RTOS NFTL主导人。
本节目的: 通过分析块设备驱动的框架,知道如何来写驱动 1.之前我们学的都是字符设备驱动,先来回忆一下 字符设备驱动: 当我们的应用层读写(read()/write())字符设备驱动时,是按字
在linux的系统维护中，可能需要经常查看cpu使用率，分析系统整体的运行情况,以便性能分析优化。而监控CPU的性能一般包括以下3点：运行队列、CPU使用率和上下文切换。
1、字符设备驱动: 当我们的应用层读写(read()/write())字符设备驱动时,是按字节/字符来读写数据的,期间没有任何缓存区,因为数据量小,不能随机读取数据,例如:按键、LED、鼠标、键盘等 2、块设备: 块设备是i/o设备中的一类, 当我们的应用层对该设备读写时,是按扇区大小来读写数据的,若读写的数据小于扇区的大小,就会需要缓存区, 可以随机读写设备的任意位置处的数据，例如 普通文件(.txt,.c等),硬盘,U盘，SD卡。 3、块设备结构： 段(Segments)：由若干个块组成。是Linux内存管理机制中一个内存页或者内存页的一部分。 块 (Blocks)： 由Linux制定对内核或文件系统等数据处理的基本单位。通常由1个或多个扇区组成。（对Linux操作系统而言） 扇区(Sectors)：块设备的基本单位。通常在512字节到32768字节之间,默认512字节 应用程序进行文件的读写，通过文件系统将文件的读写转换为块设备驱动操作硬件。
当i=1,会继续执行for循环---P2先fork()出一个子进程P3，同时再输出一个'-'。
前言： 随着Linux的版本升高，存储栈的复杂度也随着增加。作者在这里简单介绍目前Linux存储栈。 分析： 1，storage stack 在用户态，可以看到的磁盘主要有几种类型： a，/dev/
单机存储引擎负责高效的组织数据、索引数据、保存数据，为上层应用提供易用的接口。有一类存储引擎为了得到更高的性能，会跨过文件系统这一层调用，直接操作裸盘。那么如何实现这类存储引擎呢？本文希望以 Ceph BlueStore 为例子，介绍一下其中的实现方法。
概述 运行在用户态的应用程序需要经常访问磁盘数据，进行读写操作，由于磁盘(HDD)相对较慢，没有任何缓存的情况下，每次应用读写操作时延页非常慢；在内核设计之初，添加了缓存设计，将磁盘数据保存在RAM中，后续的读写操作转换为在RAM中的操作，从而加快应用读写操作的速度。 页高速缓存(Page Cache)的用途是加速访问文件数据，给定inode索引节点和文件的页面的偏移量，快速的在内存中找到文件页的内容。这个Page Cache是存在于VFS和实际文件系统之间。如果应用指定了O_DIRECT方式访问文件，则直
通过之前的教程，我们了解如何在Linux和Windows云服务器下挂载和扩容云硬盘，解决了业务存储的性能扩展问题。那么，如何妥善地解决块存储的安全问题呢？这篇我们将一起探索在腾讯云上，为云硬盘做基于dm-crypto/LUKS的块设备加密的方法实践。
大家好，我是 Peter，昨天群里有小伙伴咨询page cache的问题，看到网上有篇不错的文章，分享给大家。如果大家有想看的内容，欢迎给我留言。
本文主要是《Linux内核设计与实现》这本书的读书笔记，这本书我读了不下十遍，但依然感觉囫囵吞枣。我结合自己的理解，从这本书中整理出了一些运维应该了解的内核知识，希望对大家能够有所帮助。另外，推荐大家读下这边书，这本书主要讲内核设计、实现原理和方法，有利于理解内核的一些机理。
介绍 Linux IO 的一些基本原理。 作者：arraywang，腾讯 CSIG 我们先看一张图： 这张图大体上描述了 Linux 系统上，应用程序对磁盘上的文件进行读写时，从上到下经历了哪些事情。 这篇文章就以这张图为基础，介绍 Linux 在 I/O 上做了哪些事情。 文件系统 什么是文件系统 文件系统，本身是对存储设备上的文件，进行组织管理的机制。组织方式不同，就会形成不同的文件系统。比如常见的 Ext4、XFS、ZFS 以及网络文件系统 NFS 等等。 但是不同类型的文件系统标准和接
基本介绍 linux内核在读写数据时候，可能会发生短暂的停顿等待磁盘数据 ，本质原因是进程发起read/write系统调用时候，由用户态切换到内核态，进程会经历磁盘数据达到后而引起的中断和从中断点继续执行的两个步骤。进程进入中断后，内核把磁盘数据的读写请求是交给了磁盘，磁盘硬件完成读写操作后发起硬中断唤醒被IO 中断的进程，继续执行后续的操作。 read/write系统调用需要三个参数，第一个是文件描述符fd,第二个是内存缓冲区buf,第三个是读写的字节数。read/write系统调用由用户态进程发起，然后
文件系统读取文件一般会使用do_generic_file_read()，mapping指向普通文件的address space。如果一个文件的某一块不在page cache中，在find_get_page函数中会创建一个page，并将这个page根据index插入到这个普通文件的address space中。这也是我们熟知的过程。
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
https://www.cnblogs.com/poloyy/category/1806772.html
经过pool，rbd，object、pg的层层映射关系，在PG这一层中，已经知道存储数据的3个OSD所在位置及主从关系。 客户端与primay OSD建立SOCKET 通信，将要写入的数据传给primary OSD，由primary OSD再将数据发送给其他replica OSD数据节点。
在疫情期间，小编不得不待在家中远程办公。但变的是办公方式，不变的是美创运维的7*24小时不间断支持。
最近一个项目做了一个模拟u盘的设备，但是在read虚拟u盘的内容时必须每次都从磁盘内读取，而不是从系统的cache中读取，由于这个问题，就查资料看了下read的系统调用，以及文件系统的一些内容。由于文件系统涉及面较广，例如虚拟文件系统（VFS），页缓存，块缓存，数据同步等内容，不可能全部分析到位，这里只记录和read有关的两种使用方式。cached IO和direct IO。 1. 什么是系统调用 首先系统调用能做那些事呢？概括来说，大概有下面这些事需要系统调用来实现。 控制硬件：系统调用往往作为硬件资源和
随着微服务的盛行、自动化运维技术的发展，我们测试管理测试环境的能力似乎在逐渐降低，而整个IT行业对于“W”型人才的需求确越来越高。作为一个有追求的测试，我们是时候补一补我们的运维知识~
在 Linux 系统中，我们经常用 free 命令来查看系统内存的使用状态。在个 RHEL6 的系统上，free 命令的显示内容大概是这样一个状态： 这里的默认显示单位是 kb，我的服务器是 128
在写上一篇博客时,我发现我没搞清楚块设备(block device),分区(partion)和文件系统(filesystem)这几个概念之间的关系,今早查了一些资料才慢慢理解了它们之间的关系,所以我想写出来,看看我能不能将一个问题描述清楚.下面我依次描述设备文件,分区和文件系统这三个概念.
几年以前，我被派去厦门上门去分析一个用户的手机卡顿问题，该用户的手机经常莫名无响应，刷机，恢复出厂都没有用，经过一通分析，原来该用户从熟人店里买到了一张盗版的SD卡（这年头坑的就是朋友），该SD卡读写速度很慢，顺序读写只有20MB/s。那为什么SD卡的读写性能对手机性能影响那么大？当时我的知识水平，只能从对比测试中发现这个问题，然后更换SD卡解决了这个问题，但是无法从原理上解释这种现象。经过那么多年的学习积累，我现在终于可以解释这个问题。
大概就是，进程写文件（使用缓冲 IO）过程中，写一半的时候，进程发生了崩溃，会丢失数据吗？
在存储设备中，使用分层技术，将冷热数据自动分层存放在具有不用读写性能的存储介质上，已经是很普遍的做法，比如 IBM 的 DS8K 中使用的 Easy Tier。这些功能都需要存储设备固件的支持，如何在 Linux 主机上，使用 Linux 现有的机制，实现数据的分层存储？本文主要介绍了 Linux 平台上两种不同的实现分层存储的方案。 背景介绍 随着固态存储技术 (SSD)，SAS 技术的不断进步和普及，存储介质的种类更加多样，采用不同存储介质和接口的存储设备的性能出现了很大差异。SSD 相较于传统的机械硬
传统的文件系统，是直接访问存储数据的硬件介质的。介质不关心也无法去关心这些数据的组织方式以及结构，因此用的是最简单粗暴的组织方式：所有数据按照固定的大小分块，每一块赋予一个用于寻址的编号。
Linux 内存管理模型非常直接明了，因为 Linux 的这种机制使其具有可移植性并且能够在内存管理单元相差不大的机器下实现 Linux，下面我们就来认识一下 Linux 内存管理是如何实现的。
默认系统就会加载/dev/shm ，它就是所谓的tmpfs，有人说跟ramdisk（虚拟磁盘），但不一样。象虚拟磁盘一样，tmpfs 可以使用您的 RAM，但它也可以使用您的交换分区来存储。而且传统的虚拟磁盘是个块设备，并需要一个 mkfs 之类的命令才能真正地使用它，tmpfs 是一个文件系统，而不是块设备；您只是安装它，它就可以使用了。 tmpfs有以下优势： 1。动态文件系统的大小， 2。tmpfs 的另一个主要的好处是它闪电般的速度。因为典型的 tmpfs 文件系统会完全驻留在 RAM 中，读写几乎
块是一种具有一定结构的随机存取设备，对这种设备的读写是按块进行的，他使用缓冲区来存放暂时的数据，待条件成熟后，从缓存一次性写入设备或者从设备一次性读到缓冲区。 块设备是与字符设备并列的概念， 这两类设备在 Linux 中驱动的结构有较大差异，总体而言， 块设备驱动比字符设备驱动要复杂得多，在 I/O 操作上表现出极大的不同，缓冲、 I/O 调度、请求队列等都是与块设备驱动相关的概念。
Linux 内核包含4个IO调度器，分别是 Noop IO scheduler、Anticipatory IO scheduler、Deadline IO scheduler 与 CFQ IO scheduler。
vmstat 命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值，包括服务器的CPU使用率，MEM内存使用，VMSwap虚拟内存交换情况，IO读写情况。
在计算机出现之前其实就有文件系统的概念了，此时的文件系统指的是用于管理（存储和检索）纸质文件的系统，而在计算机发明之后，文件系统逐渐指的是管理存储介质的系统，它通过简单的接口给用户，方便用户使用存储设备。
r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我
从上图可以看到Linux系统将各异的设备分为三大类：字符设备，块设备和网络设备。内核针对每一类设备都提供了对应驱动模型架构，包括基本的内核设施和文件系统接口。
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
