在Linux 操作系统中,当应用程序需要读取文件中的数据时,操作系统会先分配一些内存,将数据从磁盘读入到这些内存中,然后再将数据发给应用程序;当需要往文件中写数据时,操作系统先分配内存接收用户数据,然后再将数据从内存写到磁盘上。然而,如果有大量数据需要从磁盘读取到内存或者由内存写入磁盘时,系统的读写性能就变得低下。因为无论是从磁盘读数据,还是写数据到磁盘,都是一个很消耗时间和系统资源的过程。
[root@linuxabc ~]# ls -i 9605314 doc 25167360 jump 26452260 scripts 4429632 soft 228749 test.txt [root@linuxabc ~]# cat /etc/hostname linuxabc [root@linuxabc ~]# stat /etc/hostname File: /etc/hostname Size: 9 Blocks: 8 IO Block: 4096 regular file Device: fd00h/64768d Inode: 8620417 Links: 1 Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root) Context: system_u:object_r:hostname_etc_t:s0 Access: 2020-12-19 13:52:26.158472928 +0800 Modify: 2020-11-06 13:48:38.917519851 +0800 Change: 2020-11-06 13:48:38.917519851 +0800 Birth: -
为了便于更好地理解buffers和cached机制,下面做两个测试:
测试一:执行cat命令查看主机名,第一次查看主机名后,Cached值明显增大了,是因为主机名的数据存入了cached;第二次查看主机名后,Cached值只增加了4kB,且消耗的时间比第一次查看主机名消耗的时间要小的多,是因为直接从cached中读取主机名数据,所以消耗时间变短。
[root@linuxabc ~]# echo 3 > /proc/sys/vm/drop_caches;cat /proc/meminfo |egrep -w 'Buffers|Cached' Buffers: 108 kB Cached: 115716 kB [root@linuxabc ~]# time cat /etc/hostname ;cat /proc/meminfo |egrep -w 'Buffers|Cached' linuxabc real 0m0.005s user 0m0.001s sys 0m0.003s Buffers: 108 kB Cached: 121964 kB [root@linuxabc ~]# time cat /etc/hostname ;cat /proc/meminfo |egrep -w 'Buffers|Cached' linuxabc real 0m0.002s user 0m0.001s sys 0m0.001s Buffers: 108 kB Cached: 121968 kB
测试二:执行find命令在系统中查找文件fstab,第一次找到文件之后,bfffers的值变大了,这是因为文件的目录项存入了buffers;第二次找到文件之后,buffers的值没变,且消耗的时间要比第一次查找消耗的时间小的多,是因为直接从buffers中找到了文件所在的路径,所以消耗的时间变短。
[root@linuxabc ~]# echo 3 > /proc/sys/vm/drop_caches;cat /proc/meminfo |egrep -w 'Buffers|Cached' Buffers: 108 kB Cached: 115720 kB [root@linuxabc ~]# time find / -name fstab;cat /proc/meminfo |egrep -w 'Buffers|Cached' /etc/fstab real 0m7.805s user 0m0.524s sys 0m5.360s Buffers: 1388 kB Cached: 118172 kB [root@linuxabc ~]# time find / -name fstab;cat /proc/meminfo |egrep -w 'Buffers|Cached' /etc/fstab real 0m1.112s user 0m0.565s sys 0m0.529s Buffers: 1388 kB Cached: 118172 kB
[root@linuxabc ~]# ipcs -m ------ Shared Memory Segments -------- key shmid owner perms bytes nattch status 0x301375cf 0 root 640 32768 0
[root@linuxabc /]# cat /proc/meminfo |egrep -w "Buffers:|Cached:" Buffers: 14648 kB Cached: 12621116 kB [root@RHEL6 ~]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.4 (Santiago) [root@RHEL6 ~]# free -m total used free shared buffers cached Mem: 7872 4329 3542 0 380 3053 -/+ buffers/cache: 895 6976 Swap: 6143 0 6143 [root@RHEL7 /]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 7.8 (Maipo) [root@RHEL7 /]# free -m total used free shared buff/cache available Mem: 15883 2230 383 791 13269 12531 Swap: 2047 1 2046
当一个新进程需要内存上的空闲页时,内核将检查是否有任何页在缓存中,相应地内核将通过将文件从缓存同步到本地磁盘来回收空闲页,并为新进程释放内存。
根据Linux虚拟内存管理机制,这种行为是正常的。要理解为什么缓存会变得如此之高,以及为什么这不是一个问题,就必须了解I/O在Linux上是如何工作的。当用户进程读取或写入文件时,它实际上是在修改主内存中该文件的副本。内核从磁盘创建该副本,并在必要时将更改写回磁盘。这些副本占用的内存称为缓存内存。
每当用户进程启动读或写操作时,都会消耗缓存内存。内核将查找用户正在操作的文件部分的副本,如果没有这样的副本,它将分配一个新的缓存页,并用从磁盘读取的适当内容填充它。如果用户只读取文件,则此页将标记为“干净”缓存页。但是,一旦用户写入文件,页面将被标记为“dirty”。ps中出现的名为pdflush的内核线程将定期唤醒并将所有标记为脏的页面复制回磁盘,然后再次将它们标记为干净。请注意,该页只被重新标记为clean,当它被写回时,它不会被释放,而是被保留起来,以防有人想对它缓存的文件部分执行进一步的IO操作。
缓存页只有在内核需要内存用于其他操作时才会再次释放。因为已经从磁盘读取缓存页可以加快I/O,而且由于清除干净的缓存页与分配空闲页一样容易,而且由于空闲页对系统的性能和功能没有任何帮助,因此没有理由将缓存页转换为空闲页。如果内存充满了缓存页,下一次内核需要内存时,它将简单地逐出最近最少使用的干净缓存页并重新使用它们。
系统在内存使用达到一定阀值的情况下会自动启动回收机制回收buffer/cached,也可以进行手动的buffer/cached回收,由于buffer/cache主要是用于文件的读写使用,所以进行文件回收时,一般常伴随系统的I/O繁忙,因为系统会将缓存数据写回磁盘。
警告:红帽不建议在产品环境手动释放缓存,因为在实践中发现可能会出现系统挂起现象,手动释放缓存只能临时的屏蔽系统中出现的缓存占用内存过大现象,没有去查找根本原因,并解决问题。
将内存中数据强制先刷新到磁盘中: sync; sleep 3; sync 清理缓存: echo 3 > /proc/sys/vm/drop_caches 表示清除pagecache和slab分配器中的缓存对象 echo 1 > /proc/sys/vm/drop_caches:表示清除pagecache。 echo 2 > /proc/sys/vm/drop_caches:表示清除回收slab分配器中的对象(包括目录项缓存和inode缓存)。slab分配器是内核中管理内存的一种机制,其中很多缓存数据实现都是用的pagecache。
通过hcache和lsof命令我们可以找到引起缓存过高的进程,但是hcache命令不是系统预安装命令,可以从网上直接下载hcache或下载hcache的源码包编译安装后使用,对于产品环境,从安全的角度考虑,建议先在测试环境从github下载hcache的源码包编译生成hcache命令,然后再拷贝 hcache命令到产品环境使用。
hcache编译安装方法如下:
git clone https://github.com/silenceshell/hcache.git cd hcache make build sudo cp hcache /usr/local/bin/
使用hcache和lsof命令查找引起缓存过高的进程示例如下:
[root@linuxabc ~]# hcache -top 3 +---------------------------------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |---------------------------------+----------------+------------+-----------+---------| | /var/lib/sss/mc/initgroups | 11567160 | 2825 | 2825 | 100.000 | | /var/lib/sss/mc/passwd | 9253600 | 2260 | 2260 | 100.000 | | /usr/lib64/libmozjs-60.so.0.0.0 | 23727992 | 5793 | 1776 | 030.658 | +---------------------------------+----------------+------------+-----------+---------+ [root@linuxabc ~]# hcache -top 3 --bname +----------------------+----------------+------------+-----------+---------+ | Name | Size (bytes) | Pages | Cached | Percent | |----------------------+----------------+------------+-----------+---------| | initgroups | 11567160 | 2825 | 2825 | 100.000 | | passwd | 9253600 | 2260 | 2260 | 100.000 | | libmozjs-60.so.0.0.0 | 23727992 | 5793 | 1776 | 030.658 | +----------------------+----------------+------------+-----------+---------+ [root@linuxabc ~]# lsof /var/lib/sss/mc/initgroups COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME sssd_nss 1337 root mem-w REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups sssd_nss 1337 root 20uw REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups sshd 57738 root mem REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups sshd 57738 root 3r REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups sshd 57756 root mem REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups sshd 57756 root 3r REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups dbus-daem 57780 root mem REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups dbus-daem 57780 root 7r REG 253,0 11567160 17353855 /var/lib/sss/mc/initgroups