atbus是我按之前的思路写得服务器消息通信中间件，目标是简化服务器通信的流程，能够自动选择最优路线，自动的断线重连和通信通道维护。能够跨平台并且高效。
早期硬盘每个扇区以512字节为标准。新一代硬盘扇区容量为4096个字节，也就是所说的4k扇区。 硬盘标准更新，但操作系统一直使用的是512字节扇区的标准，所以硬盘厂商为了保证兼容性，把4k扇区模拟成512字节扇区。 通常文件系统的块（簇）是512字节的倍数，新的系统基本上都设成了4k的倍数。比如Linux的簇一般也是4k。 簇到扇区的映射关系变成了 簇（4k）->512B扇区->4k扇区，这就可能造成簇到扇区映射错位。
早于windows 2008 的windows系统，2010年以前的linux系统，第一个分区的扇区是磁盘第63扇区，并且扇区尺寸是是512byte，这个是历史的原因，硬盘必须将cylinder / head / sector (CHS) 信息报告给BIOS，这个信息在现代的操作系统是无意义的，但是磁盘依然报告给bios每个磁盘轨道有63个扇区，因此操作系统依然将第一个分区的开始位置放置到第一个磁盘轨道上，在第63个扇区开始。
目录 前言 文件系统结构 新建文件和inode 文件创建过程 inode解析 打开文件 参考 最后 ---- 前言 这次来说文件系统. 文件系统是非常重要的, 提高磁盘使用率, 减小磁盘磨损等等都是文件系统要解决的问题. 市面上的文件系统也是数不胜数, 比较常用的像ext4, xfs以及ntfs等等, 国内的像鹅厂的tfs, 然后还有sun号称"last word in file system"的ZFS, 学习ZFS而来的btrfs. 下面上一张Linux文件系统组件的体系结构图, 是我整合了多
目录 前言 文件系统结构 新建文件和inode 文件创建过程 inode解析 打开文件 参考 最后 ---------- 前言 这次来说文件系统. 文件系统是非常重要的, 提高磁盘使用率, 减小磁盘磨损等等都是文件系统要解决的问题. 市面上的文件系统也是数不胜数, 比较常用的像ext4, xfs以及ntfs等等, 国内的像鹅厂的tfs, 然后还有sun号称"last word in file system"的ZFS, 学习ZFS而来的btrfs. 下面上一张Linux文件系统组件的体系结构图, 是我整合了多
有关Windows磁盘性能压测，笔者还是强烈推荐使用微软自己开源的压测工具DiskSpd。当然，如果要使用其他磁盘性能压测工具也是可以的，比如：IOMeter（老牌经典）、FIO（更适合Linux）等。
全称Linux extended file system, extfs，即Linux扩展文件系统，Ext2就代表第二代文件扩展系统，Ext3/Ext4以此类推，它们都是Ext2的升级版，只不过为了快速恢复文件系统，减少一致性检查的时间，增加了日志功能，所以Ext2被称为索引式文件系统，而Ext3/Ext4被称为日志式文件系统。
在前文《新建一个空文件占用多少磁盘空间？》中我们了解到了一个空文件的磁盘开销。 今天我们再思考另外一个问题，假如我们给文件里只写入1个字节，那么这个文件实际的磁盘占用多大，难道真的是1个字节吗？
小文件读写的性能瓶颈是磁盘的寻址（随机读写性能更差）,评估的标准是tps。大文件读写的性能瓶颈是带宽，评估的标准是持续的读写速度。Linux可以利用空闲内存作文件系统访问的cache，因此系统内存越大存储系统的性能也越好。
本篇文章着眼于 Linux 页面大小对数据库性能的影响，以及如何优化数据库 Kubernetes 节点。
很久以前喜欢捣鼓电脑啊外设什么的，却也没有搞出什么名堂。经常见到标题里的一些术语，却也只是一知半解。最近在复习操作系统，对以往的瞎捣鼓小有感触和总结。故写下此文。
在一个目录中创建了一个空的文件以后，通过du命令看到的该文件夹的占用空间并没有发生变化。这符合我们之前的认识，因为空文件只占用inode。好，那让我们修改文件，添加一个字母
Inode：（index inode）索引节点，linux中存储设备或分区被格式化为文件系统后，一般都分为两个部分，第一部分就是inode,第二个部分为block，inode存储的是文件的属性信息，每一个文件都有对应的inode，每个inode都有一个号码如身份证一样，具有唯一性，系统识别文件就是识别它的inode节点号，用它来区分不同的文件，不像win系统按照文件名来区分不同的文件。
目前主流的第三方IO测试工具有fio、iometer和Orion，这三种工具各有千秋。
参考博客： http://lilinji.blog.51cto.com/5441000/1569623
我在知乎和公众号上都提到过，我 2012 在腾讯工作的时候写过一篇《Linux文件系统十问》。总有人问我这篇文章在哪里能看到，如今外网唯一的正版链接-腾讯学堂也挂了，网上能搜到的全是盗版。所以今天我干脆就正式给大家发一遍。
前言： 简单看了一下glusterfs，使用单节点构造glusterfs环境，导出的路径是是本地SSD在分区上。用qemu挂载glusterfs上的卷，用FIO测试IOPS，测试结果不理想。 大致分析了一下，怀疑fuse会导致性能下降。 分析： 1，libfuse & fuse 为了方便测试和便于分析问题，使用了libfuse。代码地址https://github.com/libfuse/libfuse 编译libfuse比较麻烦，不支持Makefile，需要用meson编译，而且meson的版本要求比较高，不能用apt-get直接安装。操作方法就是下载高版本的meson包，在meson包里面执行python3 setup.py install。 除了用户态的libfuse之外，还需要kernel支持。作者在Ubuntu1804上测试，fuse已经被编译到kernel中。在config文件（内核配置文件即ls /boot/config-`uname -r`）中CONFIG_FUSE_FS。如果是kmod的方式编译，执行modprobe fuse。
本篇文章是性能篇的最后一篇文章，算是一个学习笔记吧，当中的例子也是从别的文章里面摘录的，主要用来讲解如何使用和查看对应的指标。这一篇主要介绍文件系统，说的更加具体点其实是磁盘这个点。
通过讲解如何优雅扩容云硬盘，我们了解了云盘连接到服务器上的具体操作过程。那么，如何进一步了解已挂载硬盘的实际性能呢？你或许会疑惑，测试硬盘性能，为什么不能用Linux系统自带的dd工具呢？而且不少人之前都这么用的：
dd bs=64k count=4k if=/dev/zero of=test oflag=dsync（这种方法是最严格的，可以模拟数据库的插入操作，所以很慢，也是用来测试vps硬盘性能标准的一条标杆，一般来说测试结果，如果超过10M，对正常建站就无影响。超过50M，就是非常给力状态，看了这个vps硬盘性能非常的好，DD速度达到了78.9MB/s。）
dd 是 Linux/UNIX 下的一个非常有用的命令，作用是用指定大小的块拷贝一个文件，并在拷贝的同时进行指定的转换。
本文介绍了Linux内核中关于数据一致性的问题，以及为解决这些问题而采用的各种技术和方法。首先介绍了数据一致性问题在Linux内核中的重要性，然后介绍了Linux内核中现有的数据一致性技术和方法，包括O_DIRECT、O_SYNC、FUA、PDflush、barrier等。最后，总结了如何通过这些技术来提高文件系统的可靠性和性能。
在我们进行数据持久化，对文件内容进行落盘处理时，我们时常会使用fsync操作，该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里提到的脏页(dirty page)即为页缓存(page cache)。
[注: 转载自今日头条号"闪念基因"] 在我们进行数据持久化，对文件内容进行落盘处理时，我们时常会使用fsync操作，该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里提到的脏页(dirty page)即为页缓存(page cache)。
注意：inode号是磁盘格式化的时候就自动按一定的比例4k：1分配好了，当创建一个文件是就会拿一个inode给这个文件使用。inode里面存的是文件的相关属性比如大小，权限，属组和存在磁盘的位置,如果创建文件提示空间不够，但是df查看磁盘空间的时候，发现还有空间，但是就是创建不了,这个时候就应该是inode被占满了，可以通过删除文件来回收inode
云硬盘是一种高可用、高可靠、低成本、可定制化的网络块存储，可作为云服务器的独立可扩展硬盘使用。它提供数据块级别的数据存储，采用三副本的分布式机制，为云服务器提供数据可靠性保证。云硬盘提供以下 SSD 云硬盘、高性能云硬盘及普通云硬盘三种云硬盘类型，不同的硬盘类型、性能、特点和价格均不同。
理解inode，要从文件储存说起。 文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（即：Sector）。每个扇区储存512字节（相当于0.5KB）。 操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是4KB，即连续八个 sector组成一个 block。 文件数据都储存在"块"中，那么很显然，我们还必须找到一个地方储存文件的元信息，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为"索引节点"。 block中存储的就是文件的实际数据，比如说，照片，视频，音频等等，但是有一点需要注意！就是inode当中不包含文件名！一个文件的文件名，存储在上级目录的block中！ 其实inode和block之间的关系就像是一本书一样，inode是一本书的目录，一本书会有很多内容，一个知识点或者一个故事会占很多页，一个block就相当于书中的一页内容。
Linux 编程中可以更为明显地看出）。在 Linux 下与设备相关的文件一般都在/dev 目录下，它包括两种，一种是块设备文件，另一种是字符设备文件。这就涉及到文件系统，以下介绍以下Linux文件系统。
1、登录Terminal，执行：cat /proc/cpuinfo，就会显示出主机的CPU详细参数，如内核、频率、型号等等，以下是我Linux 系统主机的CPU：
# 比如一本书，整本书就相当于一块磁盘或分区，书的前几页目录就相当于inode。每一页的文字、图片相当于一个block
1.缓冲 I/O，是指利用标准库缓存来加速文件的访问，而标准库内部再通过系统调度访问文件。
Ceph，作为一个高度可扩展的分布式存储系统，已经成为云计算和大数据时代的关键基石。随着企业和组织对数据存储的需求日益增长，Ceph 通过其强大的特性，如可靠性、伸缩性和性能，满足了这些需求。然而，随着集群规模的扩大和工作负载的多样性，如何确保资源的有效分配和性能隔离成为了一个重要议题。在这个背景下，Ceph 的 Quality of Service (QoS) 功能显得尤为重要。
cgroup还有其他一些限制特性，如io，pid，hugetlb等，这些用处不多，参见Cgroupv1。下面介绍下与系统性能相关的io和hugepage，cgroup的io介绍参考Cgroup - Linux的IO资源隔离
Linux常用命令中，有些命令可以用于查看系统的状态，通过了解系统当前的状态，能够帮助我们更好地维护系统或定位问题。本文就简单介绍一下这些命令。
RAID (Redundant Array of Independent Disks独立磁盘冗余阵列) 是将多颗独立的硬盘整合成一个存储单元的数据存储技术。
相信大家都知道固态硬盘（SSD）的优势在于速度比传统的机械硬盘（HDD）要快，所以现在线上服务器里越来越多看到固态硬盘的出现。不过作为一个对性能数字斤斤计较的开发，我想更精确地弄明白搭载SSD的服务器在IO性能上比搭载HDD的究竟快多少，顺序IO情况下快多少，随机IO情况下又能快多少？终于在最近抽空搞了一次性能测试对比。
大纲 cp 引发的思考 分析文件 文件系统 现实的存取场景 文件系统 文件的稀疏语义 什么是稀疏文件 为什么要支持稀疏语义？ 怎么创建一个稀疏文件？ 稀疏语义接口 稀疏文件的应用 Go 语言实现 `
df命令可以汇报文件系统的磁盘空间使用情况，直接回车就可以查看文件系统的使用情况：
1）将内存看做缓存，内存中存储此时正在运行的数据，其他数据存到磁盘，当需要使用时再换入内存，内存不够时将不用的换出到磁盘。
放在五年前，SSD （Solid State Drive，固态硬盘）对大多数人而言仍然是一个新兴的陌生产品， 他们不太明白这个又贵又小的硬盘能够给电脑带来什么样的体验。然而时至今日，SSD 已经成为了中高端电脑的标配。甚至对于入门级配置而言，SSD 还是 HDD 的区别已经取代了传统三大件，直接影响着整机运行速度。适逢最近 SSD 降价，不少朋友都有来咨询 reizhi 有关 SSD 的一些问题，这边便汇聚成文，一起总结一下。
http://tapd.oa.com/Greenplum/markdown_wikis/view/#1010134541008425443
dd 也是我们经常使用到的磁盘测试工具，Linux服务器装好系统之后，想要知道硬盘的读写是否能满足服务的需要，如果不满足硬盘的IO就是服务的一个瓶颈。我们可以使用dd命令简单进行测试，更为专业的测试可以使用上面描述的fio 工具：
译者注：原作者是大名鼎鼎的性能分析专家：Brendan Gregg，现在工作在Netflix，之前工作在Sun，在Sun公司的时候，他就做了大量的性能分析和tracing相关的工作，在Sun的Solaris上存在一种传说中的性能分析和Debug神器: Dtrace，然而，可惜的是，在我们现在的Linux操作系统上并没有Dtrace神器（这可能是因为Dtrace是从Soloris操作系统的衍生品无法迁移到别的操作系统上），Brendan Gregg 在Netflix后，继续利用他的业余时间，利用他曾经在Soloris上的性能分析经验，和对Dtrace工具的理解，研发基于Linux操作系统上的上类似于Dtrace的工具，曾经他在早期的kernel版本上基于perf研发了perf-tools工具，后面在eBPF进入kernel后，开始基于eBPF做性能工具研发的工作，比如bcc工具集，最近又参与了bpftrace的工具。本文主要是Brendan Gregg在介绍 bpftrace在2018年的开发进展，以及对bpftrace的介绍和对Dtrace的区别介绍。
单个IO大小 | 寻道时间(ms) | 旋转延迟(ms) | c传输时延(ms) | IO服务时间(ms) | IOPS
1、背景：为什么要 4K 对齐 簇是系统在硬盘上读写文件时的单位，是一个数据块（逻辑概念）。而扇区是硬盘划分的最小单位值，就是簇（数据块）占用的地方（物理概念）。NTFS对于大于2GB的分区，默认簇大小为8个扇区（4KB）。 绝大多数的机械硬盘默认是512字节的扇区，采用的是DRAM作为存储介质; 而机械硬盘，无论是SLC颗粒还是MLC颗粒，都属于NAND闪存存储单元。 这种硬盘的扇区是4K，这就是4K的由来。 NTFS格式有一个特性，那就是起始簇的位置! NTFS分区起始位置不是从0开始，而是从L
Fio（Flexible I/O Tester） 是一款由 Jens Axboe 开发的用于测评和压力/硬件验证的自由开源的软件。它支持 19 种不同类型的 I/O 引擎 (sync、mmap、libaio、posixaio、SG v3、splice、null、network、 syslet、guasi、solarisaio，以及更多)， I/O 优先级（针对较新的 Linux 内核），I/O 速度，fork 的任务或线程任务等等。它能够在块设备和文件上工作。
fio --name=RR --filename=/dev/sda --ioengine=libaio --direct=1 --thread=1 --numjobs=1 --iodepth=128 --rw=randread --bs=4k --runtime=5m --time_based=1 --group_reporting >> 4k_rand_read.log
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
