文件系统的作用 📷 linux 内核中进程管理、内存管理、网络协议栈、文件系统是内核的四大核心模块。其中文件系统提供最基础的操作文件的能力。简单概要的说，内核中有vfs和实际文件系统(比如ext4),vfs是虚拟文件系统，是内核提供一种工厂设计模式的抽象层，对外提供标准的posix语义层；实际文件系统就是实现特定的文件功能的磁盘文件系统。具体如下图所描述 📷 文件系统的IO协议栈 应用程序如果以dio方式读写文件请求，首先经过内核的vfs，然后到实际的文件系统的对应的处理函数，接着请求进入那么设备映射，最后
问题场景： 云计算IaaS平台上，经常使用libvirt+qemu-kvm做基础平台。libvirt会在/etc/libvirt/qemu/目录下，保存很多份qemu的配置文件，如ubuntu.xml。 作者发现其中的配置文件会在特定的场景下被修改，却不知道哪个进程是凶手。为了找到凶手，作者写下了这个debug工具。 代码分析： 代码路径：https://github.com/pacepi/whotouchmyfile #include <linux/kernel.h> #include <linux/mo
内核态文件操作 在用户态，我们操作文件可以用C库函数：open()、read()、write()等，但是在内核态没有库函数可用，这时就需要用内核的一些函数：filp_open、filp_close、vfs_read、vfs_write、set_fs、get_fs等函数，
上面的文章已经分析了tcp建立的整个过程，下面我们来看下write是如何实现tcp写的。
zpool创建 // 创建一个zpool $ modprobe zfs $ zpool create -f -m /sample sample -o ashift=12 /dev/sdc $ zfs create sample/fs1 \ -o mountpoint=/sample/fs1 \ -o atime=off \ -o canmount=on \ -o compression=lz4 \ -o quota=100G \ -o recordsize=8k \ -o l
文件的写入是否是原子的？多个线程写入同一个文件是否会写错乱?多个进程写入同一个文件是否会写错乱？想必这些问题多多少少会对我们产生一定的困扰，即使知道结果，很多时候也很难将这其中的原理清晰的表达给提问者
忽然想起的回忆，那是2007上周五在冬季，我看我的老湿调试Linux堆IP层，只看到他改变路由查找的逻辑，然后直接make install上的立竿见影的效果有点，我只知道，，这种逻辑必须再次更改编译内核。再一次，他没有编译，就像刚才编译的文件…时又无聊的工作阻碍了我对Linux内核的探索进度，直到今天，我依旧对编译内核有相当的恐惧，不怕出错，而是怕磁盘空间不够，initrd的组装拆解之类，太繁琐了。我之所以知道2007年的那天是周五，是由于第二天我要加班。没有谁逼我。我自愿的，由于我想知道师父是怎么做到不又一次编译内核就能改变非模块的内核代码处理逻辑的。第二天的收获非常多，不但知道了他使用了“镜像协议栈”。还额外赚了一天的加班费。我还记得周六加完班我和老婆去吃了一家叫做石工坊的羊排火锅。人家赠送了一仅仅绿色的兔子玩偶。
基本介绍 linux内核在读写数据时候，可能会发生短暂的停顿等待磁盘数据 ，本质原因是进程发起read/write系统调用时候，由用户态切换到内核态，进程会经历磁盘数据达到后而引起的中断和从中断点继续执行的两个步骤。进程进入中断后，内核把磁盘数据的读写请求是交给了磁盘，磁盘硬件完成读写操作后发起硬中断唤醒被IO 中断的进程，继续执行后续的操作。 read/write系统调用需要三个参数，第一个是文件描述符fd,第二个是内存缓冲区buf,第三个是读写的字节数。read/write系统调用由用户态进程发起，然后
找出内存最大的几个进程（按名字统计，同名算一个，但是这么算出来的有可能加上了共享内存，不保证完全准确，要是想刨去共享内存一个办法就是统计时加上uniq）： ps -G | sed 's/^>//' | awk '{ m[$9]+=$8/1024 } END { for (item in m) { printf "%20s %10s MiB\n", item, m[item] } }' | sort -k 2 -r -n | head
之前做 MySQL 参数优化的时候，为了寻找瓶颈，我通常是观察 MySQL 的 status ，看哪些计数器有问题，以便确认问题的大致范围和应该调整的参数。虽然这一套屡试不爽，但是玩久了也想换一个新的视角。既然 MySQL 是运行在操作系统之上的，那我们观测操作系统的内核事件，应该也能发现性能问题。
eBCC，顾名思义则是extended BCC的缩写，是阿里巴巴内核团队在Aliyun Linux 2上对BCC项目的拓展，包含BCC本身已有的工具集，和我们新开发的一些小的工具；eBCC则是基于在最新的BCC版本0.9之上做了一些拓展。
eBCC，顾名思义则是extended BCC的缩写，是阿里巴巴内核团队在Aliyun Linux 2 上对BCC项目的拓展，包含BCC本身已有的工具集，和我们新开发的一些小的工具；eBCC则是基于在最新的BCC版本0.9之上做了一些拓展。
文件的open、close、read、write是最基本的文件抽象，描述了对于设备的操作。本文将结合用户态的接口以及内核态的实现剖析文件IO。
经过第两轮优化把性能提升到了原来的 12.18 倍(1924 / 158 ~= 12.18) ，下面来看一下这二次优化的过程。
前言： 有的时候，看到panic了，但是最后一次访问的backtrace有点长，一个屏幕内的log非常短，刚好错过了关键的backtrace。。。 分析： 1，patch 作者写了一个patch，方便
最近1-2周, 业务侧基于性能和一致性的需求，测试和验证基于sofa-jraft的框架。由于上线后事关生产环境的稳定性，于是加入调研jraft/raft相关领域调研，确保生产环境即使在极端情况下，也在我们考量的范围之内。
在计算机的世界里，我们可以将业务进行抽象简化为两种场景——计算密集型和IO密集型。这两种场景下的表现，决定这一个计算机系统的能力。数据库作为一个典型的基础软件，它的所有业务逻辑同样可以抽象为这两种场景的混合。因此，一个数据库系统性能的强悍与否，往往跟操作系统和硬件提供的计算能力、IO能力紧密相关。
在日常开发中一些看似司空见惯的问题上，我觉得可能大多数人其实并没有真正理解，或者理解的不够透彻。不信我们来看以下一段简单的读取文件的代码：
On-CPU性能问题可以借助On-CPU火焰图解决，但是无法了解进程和线程不在CPU上运行所花费的时间。如果有很多的时间花在同步请求上，也会很容易影响性能表现。
arch：包含和硬件体系结构相关的代码，每种平台占一个相应的目录，如i386、arm、arm64、powerpc、mips等。Linux内核目前已经支持30种左右的体系结构。在arch目录下，存放的是各个平台以及各个平台的芯片对Linux内核进程调度、内存管理、中断等的支持，以及每个具体的SoC和电路板的板级支持代码。
例行查看 krew index 的时候，发现有个新插件 gadgit，翻翻来历，居然是 Kinvolk 的作品，公司不太出名，印象里最早做服务网格 Benchmark 的就是他。插件功能介绍很简单：Collection of gadgets for Kubernetes developers，但是用法就很了不得了，非常有字数越小事越大的感觉：
6月1号，我提交了一个linux内核中的任意递归漏洞。如果安装Ubuntu系统时选择了home目录加密的话，该漏洞即可由本地用户触发。如果想了解漏洞利用代码和短一点的漏洞报告的话，请访问https:/
一、磁盘 1、告警：Disk read/write request responses are too high 表达式解释为: 最近15分钟的对应磁盘的Disk read request avg waiting time (r_await)大于20ms或者 Disk write request avg waiting time (w_await) 大于20ms
通过上篇 Go 存储基础 — 文件 IO 的姿势， 我们看到有两种文件读写的方式，一种是系统调用的方式，操作的对象是一个整数 fd，另一种是 Go 标准库自己封装的标准库 IO ，操作对象是 Go 封装的 file 结构体，但其内部还是针对整数 fd 的操作。所以一切的本源是通过 fd 来操作的，那么，这个 fd 究竟是什么？就这个点我们深入剖析。
VFS使得用户可以直接使用open()等系统调用而无需考虑具体文件系统和实际物理介质。
介绍 FreeRTOS 下如何使用 xrecorder 的接口来开发录制应用程序，方便录制应用开发人员快速正确地开发，以及录制应用测试人员如何根据该文档对基于 xrecord 的录制应用进行验证测试。
作者简介：伟林，中年码农，从事过电信、手机、安全、芯片等行业，目前依旧从事Linux方向开发工作，个人爱好Linux相关知识分享。 0.背景 ftrace的功能非常强大，可以在系统的各个关键点上采集数据用以追踪系统的运行情况。既支持预设的静态插桩点(trace event)，也支持每个函数的动态插桩(function tracer)。还可以利用动态插桩来测量函数的执行时间(function graph tracer)。关于ftrace的详细操作和原理分析可以参考Linux ftrace一文。 本文的主要目的
先讲一个作者大约5-6年前我在某当时很火的一个应用分发创业公司的面试小插曲，该公司安排了一个刚工作1年多的一个同学来面我，聊到我们项目中的配置文件里写的一个开关，这位同学就跳出来说，你这个读文件啦，每个用户请求来了还得多一次的磁盘IO，性能肯定差。借由这个故事其实我发现了一个问题，虽然我们中的大部分人都是计算机科班出身，代码也写的很遛。但是在一些看似司空见惯的问题上，我们中的绝大多数人并没有真正理解，或者理解的不够透彻。
今天发现突然有一台主机无缘无故死机了，于是翻看了/var/log/message日志，发现提示： echo 0 > /proc/sys/kernel/hung_task_timeout_secs;
管道是Linux中很重要的一种通信方式,是把一个程序的输出直接连接到另一个程序的输入,常说的管道多是指无名管道,无名管道只能用于具有亲缘关系的进程之间，这是它与有名管道的最大区别。有名管道叫named pipe或者FIFO(先进先出)，可以用函数mkfifo()创建。
被交叉的日志很有规律，都是单条日志过长被截断的，建议优化下 /*/ruleanalysis.php:68 此处写入日志的字符串长度为： int(25909)
控制群组（control group）（在此指南中简写为 cgroup）是 Linux kernel 的一项功能：在一个系统中运行的层级制进程组，您可对其进行资源分配（如 CPU 时间、系统内存、网络带宽或者这些资源的组合）。通过使用 cgroup，系统管理员在分配、排序、拒绝、管理和监控系统资源等方面，可以进行精细化控制。硬件资源可以在应用程序和用户间智能分配，从而增加整体效率。
有名管道叫named pipe或者FIFO(先进先出)，可以用函数mkfifo()创建。
DragonOS的虚拟文件系统是内核中的一层适配器，为用户程序（或者是系统程序）提供了通用的文件系统接口。同时对内核中的不同文件系统提供了统一的抽象。各种具体的文件系统可以挂载到VFS的框架之中。
马哥linux运维 | 最专业的linux培训机构 ---- 最近在维护一台CentOS服务器的时候，发现内存无端"损失"了许多，free和ps统计的结果相差十几个G，搞的我一度又以为遇到灵异事件了，后来Google了许久才搞明白，特此记录一下，以供日后查询。 虽然天天都在用Linux系统办公，其实对它的了解也不过尔尔。毕业几年才迈入"知道自己不知道"的境界，我觉得自己丝毫没有愧对万年吊车尾这个称号 :( 问题描述和初步调查 同事说有一台服务器的内存用光了，我连上去用free看了下，确实有点怪。 $ fr
本文主要介绍kdump服务和crash的使用，并结合一个简单的实例演示如何分析内核奔溃的原因。本文基于linux kernel 4.19, 体系结构为aarch64。 kdump概述 kdump kdump 是一种先进的基于 kexec 的内核崩溃转储机制，用来捕获kernel crash（内核崩溃）的时候产生的crash dump。当内核产生错误时，kdump会将内存导出为vmcore保存到磁盘。 kdump流程 当系统崩溃时，kdump 使用 kexec 启动到第二个内核。第二个内核通常叫做捕获内核，以
本文介绍了Linux系统上FUSE文件系统的实现原理、基本概念以及FUSE在文件系统中的具体应用。通过FUSE，用户可以自定义文件系统，实现不同文件系统类型，如ext4、xfs等。FUSE在文件系统方面有着广泛的应用，包括文件系统开发、文件系统修复、文件系统压缩、文件系统加密等。
DAX: 磁盘(disk)的访问模式有三种 BUFFERED、DIRECT、DAX。前面提到的由于page cache存在可以避免耗时的磁盘通信就是BUFFERED访问模式的集中体现；但是如果我要求用户的write请求要实时存储到磁盘里，不能只在内存中更新，那么此时我便需要DIRECT模式；大家可能听说过flash分为两种nand flash和nor flash，nor flash可以像ram一样直接通过地址线和数据线访问，不需要整块整块的刷，对于这种场景我们采用DAX模式。所以file_operations的read_iter和write_iter回调函数首先就需要根据不同的标志判断采用哪种访问模式, kernel在2020年12月的patch中提出了folio的概念，我们可以把folio简单理解为一段连续内存，一个或多个page的集合
ext4挂载 在linux 5.x的内核中，实际文件系统的挂载采用新的挂载API，引入了struct fs_context用于内部文件系统挂载的信息。 应用端发起mount命令，进入mount系统调用，执行do_mount的函数 // vfs层保留该小节需要的核心字段 struct super_block { // 文件系统类型 struct file_system_type *s_type; // 文件系统super_block的操作函数 const struct super_operations
文件系统，本身是对存储设备上的文件，进行组织管理的机制。组织方式不同，就会形成不同的文件系统。
通常我们使用的磁盘和光盘都属于块设备，也就是说它们都是按照 数据块 来进行读写的，可以把磁盘和光盘想象成一个由数据块组成的巨大数组。但这样的读写方式对于人类来说不太友好，所以一般要在磁盘或者光盘上面挂载 文件系统 才能使用。那么什么是 文件系统 呢？ 文件系统 是一种存储和组织数据的方法，它使得对其访问和查找变得容易。通过挂载文件系统后，我们可以使用如 /home/docs/test.txt 的方式来访问磁盘中的数据，而不用使用数据块编号来进行访问。
内核、shell、文件系统和应用程序。内核、shell和文件系统一起形成了基本的操作系统结构，它们使得用户可以运行程序、管理文件并使用系统。部分层次结构如图1-1所示。
管道可用于具有亲缘关系进程间的通信，有名管道克服了管道没有名字的限制，因此，除具有管道所具有的功能外，它还允许无亲缘关系进程间的通信。
本文是“Linux内核分析”系列文章的第一篇，会以内核的核心功能为出发点，描述Linux内核的整体架构，以及架构之下主要的软件子系统。之后，会介绍Linux内核源文件的目录结构，并和各个软件子系统对应。
需求: 如何利用ISCSI协议保留字段, 在Initiator和Tgt端传递, 完成一些控制开关或其他管理功能 ?
UNIX 的哲学之一就是一切皆文件，所以可以看出文件系统在操作系统层面是非常重要的，很多基本单元都是通过文件系统展开的，所以了解文件系统有利于分析整个操作系统的脉络。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
