持久化的存储设备
存储设备,系统中容量最大的存储设备
存储数据之前,要先进行格式化
linux:ext4
windwos:FAT32、NTFS
在读写数据时,数据与磁盘间有个磁盘缓存(内存的一部分)
由盘片,磁头组成,数据存在盘片的环形磁道上,读写时,磁头移动,定位到数据的磁道,进行数据读写
由固态电子元器件组成,不需要磁头寻址,所以不管是连续IO还是随机IO,都比机械盘快
不同系统的读写
磁盘文件系统:ext4、xfs、nfs
内存文件系统:基于内存的文件系统 /proc/sys
网络文件系统:用来访问其他计算机数据的文件系统 nfs
,smb
扇区sector:磁盘组成的最小单位「512B」,磁盘磁道中一个弧段
块Block:操作系统与磁盘数据交换的最小单位,快=2^n*扇区
页page:操作系统与内存数据交换的最小单位
缓冲区:buffer内存与磁盘速度不匹配,在数据与磁盘进行IO时,数据先进入缓存区
页缓存:Linux内存中对磁盘部分数据的副本,加快程序读取磁盘的速度和进程间数据共享
linux中IDE设备分区符以「hd」开头
linux中SCSI设备分区符以「sd」开头
sda:a、b、c…第几个硬盘
sda1、sda2…数字1、2、3表示第几个分区
fdisk -l
查看系统分区详细信息
root@zx:~# fdisk -l
Disk /dev/vda: 40 GiB, 42949672960 bytes, 83886080 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xcdbde65e
Device Boot Start End Sectors Size Id Type
/dev/vda1 * 2048 83886046 83883999 40G 83 Linux
root@zx:~#
分区的目的:提升磁盘读写数据的速度
独立磁盘构成具有冗余能力的阵列
Virtual File System简称VFS。是Linux内核的子系统之一,它为用户程序提供文件和文件操作系统的统一接口,屏蔽不同文件系统的差异和操作细节。节奏VFS可以直接使用open(),read(),write()这样的系统调用操作文件,而无需考虑具体的文化系统和实际的存储介质
通过VFS系统,Linux提供了通用的系统调用,可以跨越不同文件系统和介质之间执行,极大简化了用户访问不同文件系统的过程。另一方面,新的文件系统,新类型的存储介质,可以无须编译的情况下,动态加载到Linux中
文件操作:先open,再read或write,最后close
读写的不同:
root@zx:~# iostat -dx 2
Linux 5.4.0-54-generic (zx) 06/17/2021 _x86_64_ (2 CPU)
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
vda 0.00 0.11 0.00 33.65 1.93 28.47 0.94 10.72 1.28 57.78 2.17 11.43 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.13
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
vda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Device r/s rkB/s rrqm/s %rrqm r_await rareq-sz w/s wkB/s wrqm/s %wrqm w_await wareq-sz d/s dkB/s drqm/s %drqm d_await dareq-sz aqu-sz %util
vda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
rrqm/s
:每秒进行merge的读操作数目,即delta(rmerge)/swrqm/s
:每秒进行merge的写操作数目,即delta(wmerge)/sr/s
:每秒完成的读IO设备次数,即delta(rio)/sw/s
:每秒完成的写IO设备次数rsec/s
:每秒读扇区数wsec/s
:每秒写扇区数rkBs
:每秒读k字节数wkB/s
:每秒写k字节数指磁盘处理IO的时间百分比
磁盘处理IO的繁忙程度
input\output per second 每秒的IO请求
每秒的IO请求大小
指IO请求从发送到收到响应的时间间隔
echo 3 > /proc/sys/vm/drop_caches
执行之后,buff会为0,cache会减少,free增大
root@zx:~# dd if=/dev/zero of=$PWD/outfile bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 12.5943 s, 159 MB/s
root@zx:~# time dd if=/dev/zero of=$PWD/outfile bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 18.2494 s, 110 MB/s
real 0m18.556s
user 0m0.000s
sys 0m2.696s
使用vmstat 1
:free变小,空闲内存变小;buffer为0,cache数据变大,bo数据也变大,说明有大量的写磁盘
使用iostat -dx 1
:r/s没有数据,wKB/s有大量数据,说明有大量的磁盘操作
top
:wa有明显的数据
root@zx:~# df -h
Filesystem Size Used Avail Use% Mounted on
udev 1.9G 0 1.9G 0% /dev
tmpfs 394M 908K 393M 1% /run
/dev/vda1 40G 14G 24G 37% /
tmpfs 2.0G 0 2.0G 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup
overlay 40G 14G 24G 37% /var/lib/docker/overlay2/620bb7aa0e627cdba9390176389043e6822ab9e5eb2babdeab85277eff33f615/merged
overlay 40G 14G 24G 37% /var/lib/docker/overlay2/d3473cb9961cfa686528b22e036640d393e58e3f53498952e88b602392005deb/merged
overlay 40G 14G 24G 37% /var/lib/docker/overlay2/4255afaa35207b007713bd6b0366838b6452038dffd1c1a1d23639aaab9a37ae/merged
tmpfs 394M 0 394M 0% /run/user/0
root@zx:~# dd if=/dev/vda1 of=/dev/null bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 17.9035 s, 112 MB/s
root@zx:~# time dd if=/dev/vda1 of=/dev/null bs=20MB count=100
100+0 records in
100+0 records out
2000000000 bytes (2.0 GB, 1.9 GiB) copied, 9.53937 s, 210 MB/s
real 0m9.548s
user 0m0.001s
sys 0m1.305s
使用vmstat 1
:free变小,空闲内存变小;buffer明显变大,cache数据没有明显变化,bi也有明显的数据
bi数据,经过几次增加后,buffer数据也相应的增加,当bi数据没有时,buffer数据也不变了,但是读的操作还没有结束。说明后面的读数据来自buffer
使用iostat -dx 1
:rkB/s数据变大,wkB/s数据不明显
在写磁盘数据时,cache会变大,在读磁盘数据时,buffer会变大。
root@zx:~# echo 3>/proc/sys/vm/drop_caches
root@zx:~# dd if=/dev/zero of=/dev/null bs=50MB count=100
100+0 records in
100+0 records out
5000000000 bytes (5.0 GB, 4.7 GiB) copied, 0.831753 s, 6.0 GB/s
内存的速度,大概是几个GB/s
内存的速度,看你是磁盘速度的上百倍