28-磁盘知识
持久化的存储设备
存储设备，系统中容量最大的存储设备
存储数据之前，要先进行格式化
linux：ext4
windwos：FAT32、NTFS
在读写数据时，数据与磁盘间有个磁盘缓存（内存的一部分）
机械磁盘「HHD」
由盘片，磁头组成，数据存在盘片的环形磁道上，读写时，磁头移动，定位到数据的磁道，进行数据读写
固态磁盘「SSD」
由固态电子元器件组成，不需要磁头寻址，所以不管是连续IO还是随机IO，都比机械盘快
为什么代码可以运行在不同的操作系统中
不同系统的读写
Linux中，一切都是文件
磁盘文件系统：ext4、xfs、nfs
内存文件系统：基于内存的文件系统 /proc/sys
网络文件系统：用来访问其他计算机数据的文件系统 nfs ,smb
磁盘内部
扇区sector：磁盘组成的最小单位「512B」，磁盘磁道中一个弧段
块Block：操作系统与磁盘数据交换的最小单位，快=2^n*扇区
- linux：类似Ext4文件系统，就是磁盘分块
- windows：类似NTFS文件系统，也就是块，只是被叫做「簇」
页page：操作系统与内存数据交换的最小单位
缓冲区：buffer内存与磁盘速度不匹配，在数据与磁盘进行IO时，数据先进入缓存区
页缓存：Linux内存中对磁盘部分数据的副本，加快程序读取磁盘的速度和进程间数据共享
磁盘分区
- 基本分区：不能再分区
- 扩展分区：必须进行二次分区，才能使用。再分区就是逻辑分区
linux中IDE设备分区符以「hd」开头
- hd=Hard Disk表示硬盘是IDE（或ATA）并行接口.速度快一些
linux中SCSI设备分区符以「sd」开头
- sd=Serial ATA Disk表示硬盘是scsi，SATA串行接口，u盘也是scsi
- vmware中把磁盘做成scsi设备，所以硬盘名称是sda
sda:a、b、c…第几个硬盘
sda1、sda2…数字1、2、3表示第几个分区
fdisk -l查看系统分区详细信息
root@zx:~# fdisk -l
Disk /dev/vda: 40 GiB, 42949672960 bytes, 83886080 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xcdbde65e
Device Boot Start End Sectors Size Id Type
/dev/vda1 * 2048 83886046 83883999 40G 83 Linux
root@zx:~#
分区的目的：提升磁盘读写数据的速度
磁盘阵列RAID
独立磁盘构成具有冗余能力的阵列
- 由多块独立的磁盘组成一个容量巨大的磁盘组，利用磁盘提供数据所产生的加成效果提升整个磁盘系统的效能。利用这个技术，把数据切割成多段，分别存在不同磁盘上
- RAID0:数据分片存在2块磁盘，读写速度提升2倍，主要用于SWAP\TMP，但是数据不冗余，数据恢复难
- RAID1:相同数据冗余存入2块磁盘，写速度不变，读速度提升2倍，数据冗余1份，主要用于数据备份，但磁盘利用率低
- RAID5:数据分片和校验码混合存储3份，读写速度提升2倍，主要在要求告诉时用，可以用于数据还原
- RAID10:2块磁盘1组先做RAID1，多组RAID1，再做RAID0，读写速度N「组数」倍
虚拟文件系统
Virtual File System简称VFS。是Linux内核的子系统之一，它为用户程序提供文件和文件操作系统的统一接口，屏蔽不同文件系统的差异和操作细节。节奏VFS可以直接使用open()，read()，write()这样的系统调用操作文件，而无需考虑具体的文化系统和实际的存储介质
通过VFS系统，Linux提供了通用的系统调用，可以跨越不同文件系统和介质之间执行，极大简化了用户访问不同文件系统的过程。另一方面，新的文件系统，新类型的存储介质，可以无须编译的情况下，动态加载到Linux中
文件IO
文件操作：先open，再read或write，最后close
读写的不同：
- 是否利用标准库缓存：缓存IO、非缓存IO
- 是否利用页缓存：直接IO、非直接IO
- 直接IO：跳过操作系统和页缓存，直接与文件系统交互来访问文件
- 非直接IO：文件读写时，先给页缓存，再由内核调用，写入磁盘
- 释放阻塞自身运行：阻塞IO、非阻塞IO
- 阻塞IO：如果没有获得响应，就阻塞当前线程
- 非阻塞IO：不阻塞当前线程
- 是否等待响应结果：同步IO、异步IO
- 同步IO：要一直等待整个IO完成，才能获取IO响应
- 异步IO：不等待IO完成，可以执行另外任务
iostat
root@zx:~# iostat -dx 2
Linux 5.4.0-54-generic (zx) 06/17/2021 _x86_64_ (2 CPU)
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
vda 0.00 0.11 0.00 33.65 1.93 28.47 0.94 10.72 1.28 57.78 2.17 11.43 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
vda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
vda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
rrqm/s:每秒进行merge的读操作数目，即delta(rmerge)/swrqm/s:每秒进行merge的写操作数目，即delta(wmerge)/sr/s:每秒完成的读IO设备次数，即delta(rio)/sw/s:每秒完成的写IO设备次数rsec/s:每秒读扇区数wsec/s:每秒写扇区数rkBs:每秒读k字节数wkB/s:每秒写k字节数
磁盘性能指标
使用率
指磁盘处理IO的时间百分比
饱和度
磁盘处理IO的繁忙程度
IOPS
input\output per second 每秒的IO请求
吞吐量
每秒的IO请求大小
响应时间
指IO请求从发送到收到响应的时间间隔
实战
清理缓存
echo 3 > /proc/sys/vm/drop_caches
- echo 1:释放页缓存
- echo 2:释放目录项
- echo 3:释放页缓存、目录项、节点
执行之后，buff会为0，cache会减少，free增大
测试磁盘「写」能力
root@zx:~# dd if=/dev/zero of=$PWD/outfile bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 12.5943 s, 159 MB/s
root@zx:~# time dd if=/dev/zero of=$PWD/outfile bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 18.2494 s, 110 MB/s
real 0m18.556s
user 0m0.000s
sys 0m2.696s
- if输入文件(in file)
- of输出文件(out file)
- /dev/zero 一个伪设备，只产生字符流，不会有IO
- of=$PWD/outfile 输出到当前目录下的outfile文件中
- bs=20MB count=100 块文件20MB，执行100次
观察
使用vmstat 1：free变小，空闲内存变小；buffer为0，cache数据变大，bo数据也变大，说明有大量的写磁盘
使用iostat -dx 1：r/s没有数据，wKB/s有大量数据，说明有大量的磁盘操作
top：wa有明显的数据
测试磁盘「读」能力
root@zx:~# df -h
Filesystem Size Used Avail Use% Mounted on
udev 1.9G 0 1.9G 0% /dev
tmpfs 394M 908K 393M 1% /run
/dev/vda1 40G 14G 24G 37% /
tmpfs 2.0G 0 2.0G 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
overlay 40G 14G 24G 37% /var/lib/docker/overlay2/620bb7aa0e627cdba9390176389043e6822ab9e5eb2babdeab85277eff33f615/merged
overlay 40G 14G 24G 37% /var/lib/docker/overlay2/d3473cb9961cfa686528b22e036640d393e58e3f53498952e88b602392005deb/merged
overlay 40G 14G 24G 37% /var/lib/docker/overlay2/4255afaa35207b007713bd6b0366838b6452038dffd1c1a1d23639aaab9a37ae/merged
tmpfs 394M 0 394M 0% /run/user/0
root@zx:~# dd if=/dev/vda1 of=/dev/null bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 17.9035 s, 112 MB/s
root@zx:~# time dd if=/dev/vda1 of=/dev/null bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 9.53937 s, 210 MB/s
real 0m9.548s
user 0m0.001s
sys 0m1.305s
- if输入文件(in file)
- of输出文件(out file)
- /dev/vda1 磁盘第1个物理分区，读取这个磁盘文件，会有IO
- /dev/null 一个伪设置，回收站，是个无底洞，可以无限放暑假
- bs=20MB count=100 块文件20MB，执行100次
观察
使用vmstat 1：free变小，空闲内存变小；buffer明显变大，cache数据没有明显变化，bi也有明显的数据
bi数据，经过几次增加后，buffer数据也相应的增加，当bi数据没有时，buffer数据也不变了，但是读的操作还没有结束。说明后面的读数据来自buffer
- buffer是由磁盘虚拟而来，用于加快磁盘读速度。
使用iostat -dx 1：rkB/s数据变大，wkB/s数据不明显
小结
在写磁盘数据时，cache会变大，在读磁盘数据时，buffer会变大。
测试内存的速度
root@zx:~# echo 3>/proc/sys/vm/drop_caches
root@zx:~# dd if=/dev/zero of=/dev/null bs=50MB count=100
100+0 records in
100+0 records out
5000000000 bytes (5.0 GB, 4.7 GiB) copied, 0.831753 s, 6.0 GB/s
内存的速度，大概是几个GB/s
内存的速度，看你是磁盘速度的上百倍
磁盘性能优化
- 由机械硬盘，转为固态硬盘，提升磁盘的速度，所以整体性能提升
- 减少磁盘的IO次数。代码可以优化
- 可以适当的加大内存的大小