转载随意，文章会持续修订，请注明来源地址：https://zhenbianshu.github.io 。
Linux 5.10 版本中包含了一个有望显著提高 ext4 文件系统性能的改动，人们称它为 "fast commits (快速提交)"，加入了一种新的、更轻量级的日志方法。让我们来看一下这个功能具体是如何工作的、谁能从中受益、以及什么场景下适用。
之前遇到过jbd2引起IO高的问题，直接关掉了日志的功能解决的。写了一个文章，但写的不够细。最近又见类似问题，这里重新整理下对jbd2的内容。
不必太纠结于当下，也不必太忧虑未来，当你经历过一些事情的时候，眼前的风景已经和从前不一样了。——村上春树
块组：Ext4文件系统的全部空间被划分为若干个块组，每个块组内的结构都是大致相同的。 块组描述符表：每个块组都对应一个块组描述符，这些块组描述符统一放在文件系统的前部，称为块组描述符表。每个块组描述符大小为32字节，其主要描述块位图、i-节点位图及i-节点表的地址等信息。 超级块(Superblock)：用于存储文件系统的配置参数(如块大小、总块数、i-节点数)和动态信息(当前空闲块数和i-节点数)。Ext4文件系统的超级块(Superblock)开始于1024字节处，即2号扇区。 i节点：描述文件的时间信息、大小、块指针等信息。 块组描述符和超级块在块中的位置：当块大小为2个扇区时，0号块是引导程序或者保留块，超级块起始于1号块。当块大小为4个扇区时，引导程序或者保留块位于0号块的前两个扇区，超级块位于0号块的后两个扇区。当块大小为8个扇区时，引导程序或者保留块位于0号块的0-1号扇区，超级块位于0号块的2-3号扇区。 Ext4文件系统的整体结构及第一个块组的具体结构如图1所示。
回望整个过年期间真的是躺的平平的，每天学习的时间和平时比起来差的不是一星半点。今天就复工了，也要收心了。我这个人有一个比较牛逼的能力就是状态调整特别快，只需要往工位上一坐下，我就能进入复工状态了。
标准GNU工具coreutils中有俩程序df / du，他们都可以查看磁盘的使用情况。通常情况下他们的统计结果并不会相同，这是因为统计信息来源的差异。所以问题来了：在ext4文件系统下，有哪些可能的因素会带来统计信息的差异？
以存储512M文件为例，展示了ext4_extent、ext4_extent_idx、ext4_extent_header之间的关系
我们应该尽可能避免在生产环境上做一些危险的操作。但是，难免有所疏忽，那么当事情发生后，我们还能如何拯救？
廖威雄，就职于珠海全志科技股份有限公司，负责Linux IO全栈研发、性能优化、开源社区开发交流、Linux 内核开源社区pstore/blk,mtdpstore模块的作者(与maintainer交流中)、大客户存储技术支持、全志首个UBI存储方案主导人、全志首个RTOS NFTL主导人。
注：本问题影响 3.10.0-862.el7.centos 及之后的 CentOS 7 版本内核，目前问题还未被修复。
**产品现象 : ** 设备(Linux 系统) 运行一段时间后，其中某一个分区 /et/config 突然占用率为100%，而实际空间可能1%都不到。 这种问题百思不得其解。谷歌/百度 所遇到的解决方案都是嵌入式系统中磁盘空间占用率100% ， 针这种情况，完全没用。
1. 概述 ---- 当我们执行rm命令删除一个文件的时候，在操作系统底层究竟会发生些什么事情呢，带着这个疑问，我们在Linux-3.10.104内核下对ext4文件系统下的rm操作进行分析。rm命令本身比较简单，但其在内核底层涉及到VFS操作、ext4块管理以及日志管理等诸多细节。 2. 源码分析 ---- rm命令是GNU coreutils里的一个命令，在对一个文件进行删除时，它实际上调用了Linux的unlink系统调用，unlink系统调用在内核中的定义如下： SYSCALL_DEFINE1
linux常见的文件系统有以下几类： 1、文件系统 Linux是通过文件系统在存储设备上存储文件和目录的。Linux的文件系统为我们在硬盘中存储的0和1和应用中使用的文件与目录之间搭建起了一座桥梁。
在上一篇云硬盘性能分析的教程中，为大家介绍了如何评测云硬盘的读写性能。但是，我们使用硬盘，从来不是直接读写裸设备，而是通过文件系统来管理和访问硬盘上地文件。不少朋友询问，文件系统该如何对比，又该如何选择呢？
本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/167
大多数现代Linux发行版默认为ext 4文件系统，就像以前的Linux发行版默认为ext3、ext2，以及-如果追溯到足够远的话-ext。 如果您是Linux新手或者是文件系统新手，您可能会想知道ext 4给表带来了什么，而ext3却没有。考虑到诸如btrfs、XFS和ZFS等备用文件系统的新闻报道，您可能还想知道ext4是否还在积极开发中。 我们不能在一篇文章中涵盖所有关于文件系统的内容，但是我们将尝试让您了解Linux的默认文件系统的历史、它所处的位置以及所期待的内容。 我大量地引用了各种ext文件系统文章以及我在编写本概览时的经验。
调试环境 $ modprobe -v ext4 $ dd if=/dev/zero of=/tmp/disk1 count=30 bs=1M $ losetup --show -f /tmp/disk1 /dev/loop0 $ mkfs.ext4 /dev/loop0 $ mount /tmp/disk1 /mnt/disk1 关于超级快基本知识 当使用者适应mkfs.ext4 /dev/sdb时候，系统按照ext4内部的布局规则写入写入先关数据。mount时候按照内置的布局规则读取这些信息
下面是ext4创建文件的实现，第一步是经由vfs层的vfs_create函数，最后进入实际文件系统的ext4_create来创建文件,文件的创建核心过程基本分为2步，第一步是新文件的inode申请，第二步是读取新文件的父目录的inode，在这个inode对应的数据块添加新文件的目录项，这个过程是采用事务的方式进行。
ext：最早的文件系统，叫扩展文件系统。使用虚拟目录操作硬件设备，在物理设备上按定长的块来存储数据。
Linux文件系统Ext2和Ext3现在已经过时了。 现在是将旧文件系统转换为最新的文件系统EXT4。 Ext4文件系统比以前的版本更快，更可靠。
Linux磁盘及文件系统管理 CPU,memory(RAM),I/O i/o: disks,ehtercard disks:持久存储数据 接口类型: IDE(ata): 并口,133MB/s;并行总线,双向四车道;并行数据容易产生干扰,导致数据损坏重传,因此效率低;并行越高，干扰频率越高 SCSI:并口,Ultrascsi320,320MB/s,UltraSCSI640,640MB
windows和Linux系统格式 在分区后，磁盘需要格式化 Windows中，有NTFS、fat格式，其中fat格式基本已经不用(过时) Linux中，centos7支持xfs、ext4、ext3、ext2、nodev proc、nodev devpts、iso9660、vfat、hfs、hfsplus [root@localhost ~]# cat /etc/filesystems //查看centos7所支持的系统格式 xfs //系统默认的支持的格式 ext4 ext3 ex
这里我们使用术语“缓冲”(一般为buffer)来表示对数据写的暂存，使用术语“缓存”(一般为cache)来表示对数据读的暂存。顾名思义，由于底层存储设备和内存之间速率的差异，缓冲是用来暂“缓”对底层存储设备IO的“冲”击。缓存主要是在内存中暂“存”从磁盘读到的数据，以便接下来对这些数据的访问不用再次访问慢速的底层存储设备。
客户上云过程中将原有在数据中心自建kubernetes集群迁移至腾讯云TKE集群，迁移过程中发现其中有一个容器沙箱环境频繁出现node节点夯死现象，目前已经出现5-6次，亟需定位原因。出现异常时节点无法登陆且需要手动重启才能恢复，"罪犯"逃离，异常后节点状态置为NotReady，无状态化pods会自动驱逐至其他节点，有状态化StatefullSets部署的pods无法驱逐成功。
-c 格式化时候检查坏块【速度会很慢，不建议使用该参数】 -t 跟格式【ext2|ext3|ext4】 -L 后面跟卷标【labelname】 -b blocksize 块大小【常用的有1024、2048、4096】 -g blocks-per-group 每个块组有多少个块组成 -G 直接定义该分区上块组的数量 -i 为数据空间中每多少个字节创建一个inode；此大小不应该小于block的大小； -I 定义inode大小 -N 定义inodes的数量 -j 启用日志功能，相当于-t ext3 【mkfs.ext3=mke2fs -j=mke2fs -t ext3=mkfs -t ext3】 -m 保留给管理员使用的数据空间百分比【直接用整数表示，如-m 3 表示保留3%的空间给管理员】 -U 指定UUID【一般不用，系统自动生成的即可】 -O XXXX 启用指定特性 -O ^XXXX 关闭指定特性 【-O的特性有如下：mke2fs -O 设备名 [ -b block-size ] [ -L volume-label ] [ -n ] [ -q ][ -v ] external-journal [ blocks-count ]】
Filesystem Type 1K-blocks Used Available Use% Mounted on /dev/sda1 ext4 20642428 3698868 15894984 19% / tmpfs tmpfs 32947160 0 32947160 0% /dev/shm
介绍TinaLinux Flash，分区，文件系统等存储相关信息，指导方案的开发定制。
如你所知，Linux 支持非常多的文件系统，例如 ext4、ext3、ext2、sysfs、securityfs、FAT16、FAT32、NTFS 等等，当前被使用最多的文件系统是 ext4。你曾经疑惑过你的 Linux 系统使用的是什么类型的文件系统吗？没有疑惑过？不用担心！我们将帮助你。本指南将解释怎么在类 Unix 的操作系统中查看已挂载的文件系统类型。
接上文 从应用到内核查接口超时（中），查到是因为 journal 导致 write 系统调用被阻塞进而导致超时后，总感觉证据还不够充分，没有一个完美的交待。而且 leader 还想着让我把问题排查过程分享给同事们，这让我更加不安，担心搞错了方向。
如你所知，Linux 支持非常多的文件系统，例如 ext4、ext3、ext2、sysfs、securityfs、FAT16、FAT32、NTFS 等等，当前被使用最多的文件系统是 ext4。你曾经疑惑过你的 Linux 系统使用的是什么类型的文件系统吗？没有疑惑过？不用担心！我们将帮助你。本指南将解释如何在类 Unix 的操作系统中查看已挂载的文件系统类型。
上次讲了VFS层，这次说说文件系统层，文件系统层将不同的文件系统实现了VFS的这些函数，通过指针注册到VFS里面。所以，用户的操作通过VFS转到各种文件系统，linux用到最多的是ext4文件系统，我们就说这个吧。EXT4是第四代扩展文件系统（英语：Fourth extended filesystem，缩写为 ext4）是Linux系统下的日志文件系统，是ext2和ext3文件系统的后继版本。 ext4文件系统布局 一个Ext4文件系统被分成一系列块组。为减少磁盘碎片产生的性能瓶颈，块分配器尽量保持每个文件
1. 问题背景 日前，某客户反映他们的实例有一段时间内慢查询突增，监控页面上也显示那段时间内监控数据也没有上报，经查看系统日志，以下内容引起了我们的注意： Mar 15 23:06:30 TENCENT64 kernel: BUG: soft lockup - CPU#2 stuck for 22s! [jbd2/md0-8:3661] ... Mar 15 23:06:30 TENCENT64 kernel: CPU: 2 PID: 3661 Comm: jbd2/md0-8 Not tainted 3
备忘 EXT3 http://zh.wikipedia.org/zh-cn/Ext3 ext3，第三扩展文件系统，是一个日志文件系统，常用于Linux操作系统。它是很多Linux发行版的默认文件系统。Stephen Tweedie在1999年2月的内核邮件列表[2]中，最早显示了他使用扩展的ext2，该文件系统从2.4.15版本的内核开始，合并到内核主线中[3]。 大小限制 ext3有一个相对较小的对于单个文件和整个文件系统的最大尺寸。这些限制依赖于文件系统的块大小；下面的表格总结了这些限制。 块尺寸 最大文件尺寸 最大文件系统尺寸
硬盘分成相同大小的单元，我们称为块（Block）。一块的大小是扇区大小的整数倍，默认是4K。在格式化的时候，这个值是可以设定的。
创建 FAT32 文件系统 （Linux 把 FAT32 识别为 vfat )
本篇博文转载于http://blog.csdn.net/uj_mosquito/article/details/41827373?utm_source=tuicool 1、POOL, PG AND
这是我们经常能听到很多大佬说的一句话，那为什么说 Linux 中都是文件呢？这句话究竟代表着什么具体的含义呢？在操作系统中，文件系统又扮演着一个什么样的角色？作为一个普通的开发者，我们究竟对文件系统要有怎么样的认识？今天我们就来看看这个大哥 —— 文件系统
系统环境：Centos6.7 x86_64 己updte 磁盘：12*4T raid5 +hot 说明：操作系统与归档都使用同一个raid5 应用环境：邮局系统【文件大小从1K到100K不等，除附件】 一、查看分区 【fdisk -l】 [root@localhost sysadmin]# fdisk -l WARNING: GPT (GUID Partition Table) detected on '/dev/sda'! The util fdisk doesn't support GPT. Use G
应为原文：http://www.ilsistemista.net/index.php/linux-a-unix/6-linux-filesystems-benchmarked-ext3-vs-ext4
本文基于个人笔记整理出来的，如有错误或不同见解，欢迎指正 journaling fs, 就是我们常说的： 日志型文件系统。比较典型的有： ext3, ext4, xfs等， 而ext2是不支持 日志的文件系统，该文件系统基本上已经不再使用；
我们知道SSD是一场存储革命，设计和制造一个好的SSD固然重要，但如何正确使用以充分发挥SSD性能同样重要。SSD内在的并行性和先擦再写的特性决定了它不同于机械硬盘简单的LBA和存储块一一对应，要充分挖掘SSD的并行性，提升性能，延长寿命，缩短延迟，就必须在上层应用做出改动。很多SSD的使用大户都作出了这种尝试，从国外的Google，Microsoft，Facebook，到国内的Baidu，Alibaba等，本站就曾经介绍过百度的软件定义闪存，把对象存储和SSD内部结构统一起来使用。但对大部分企业来讲，这种结构还是太独特了，我们还是要关注通用的架构，首先来了解离硬盘最近的软件：文件系统。本系列文章将以Linux系统最常见的EXT4文件系统为例，从SSD爱好者的角度来揭开文件系统的庐山真面目。
MBR分区表磁盘中的扩展分区不能格式化，即只能格式化主分区和逻辑分区； 格式化操作是即时生效的，不需要重启Linux系统，但此时用df命令并不能查看到磁盘的文件系统和类型，原因是还没有进行挂载。
写在前面的话 在开始教程之前我有必要提醒大家，使用窗口管理器（GUI）删除文件和使用命令行工具（CLI）删除文件这两种方法之间是有区别的。 当我们使用窗口管理器来删除文件时，我们仅仅只是将文件从某个目录移动到了另一个目录中（回收站）。 在这种情况下，唯一得到更新的就是你文件系统索引节点（inode）的元数据信息，例如被删除文件的时间戳、文件所占存储区块和扩展属性等数据。你可以使用tune2fs（调整和查看ext2/ext3文件系统的文件系统参数）来查看文件系统的索引节点信息，在命令行工具中输入下列指令：
本期和大家聊的是刚刚在2月份拿到FAST 2018最佳论文奖的一篇文章。它讨论了实现一种支持保序IO操作的设备会带来哪些好处，目前的Linux内核里处理FLUSH、FUA的方式可以参见 https://lwn.net/Articles/400541/ ，本文大部分内容来自于 blog.acolyer.org ，图表来自于论文原文。
4.5/4.6 磁盘格式化 windows和Linux系统格式 在分区后，磁盘需要格式化 Windows中，有NTFS、fat格式，其中fat格式基本已经不用(过时) Linux中，centos7支持xfs、ext4、ext3、ext2、nodev proc、nodev devpts、iso9660、vfat、hfs、hfsplus [root@localhost ~]# cat /etc/filesystems //查看centos7所支持的系统格式 xfs //系统默认的支持的格
本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/165
Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。 Ext4 是 Ext3 的改进版，修改了 Ext3 中部分重要的数据结构，而不仅仅像 Ext3 对 Ext2 那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
