当涉及到 Linux 系统的内存管理时，"Buffers" 和 "Cached" 是两个经常会引起混淆的术语。这两个概念都代表了系统内存的一部分，但它们的作用和工作方式有所不同。
Redis 的缓存淘汰算法则是通过实现 LFU 算法来避免「缓存污染」而导致缓存命中率下降的问题（Redis 没有预读机制）。
有名管道叫named pipe或者FIFO(先进先出)，可以用函数mkfifo()创建。
本文介绍linux内存机制、虚拟内存swap、buffer/cache释放等原理及实操。
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。 物理内存就是系统硬件提供的内存大小，是真正的内存，相对于物理内存，在linux下还有一个虚拟内存的概念，虚拟内存就是为了满足物理内存的不足而提出的策略，它是利用磁盘空间虚拟出的一块逻辑内存，用作虚拟内存的磁盘空间被称为交换空间（Swap Space）。 作为物理内存的扩展，linux会在物理内存不足时，使用交换分区的虚拟内存，更详细的说，就是内核会将暂时不用的内存块信息写到交换空间，这样以来，物理内存得到了释放，这块内存就可以用于其它目的，当需要用到原始的内容时，这些信息会被重新从交换空间读入物理内存。 Linux的内存管理采取的是分页存取机制，为了保证物理内存能得到充分的利用，内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中，而将经常使用的信息保留到物理内存。
管道是Linux中很重要的一种通信方式,是把一个程序的输出直接连接到另一个程序的输入,常说的管道多是指无名管道,无名管道只能用于具有亲缘关系的进程之间，这是它与有名管道的最大区别。有名管道叫named pipe或者FIFO(先进先出)，可以用函数mkfifo()创建。
我们知道，直接从物理内存读写数据要比从硬盘读写数据要快的多，因此，我们希望所有数据的读取和写入都在内存完成，而内存是有限的，这样就引出了物理内存与虚拟内存的概念。
以交友平台用户中心的user表为例，单表数据规模达到千万级别时，你可能会发现使用用户筛选功能查询用户变得非常非常慢，明明查询命中了索引，但是，部分查询还是很慢，这时候，我们就需要考虑拆分这张user表了。
在日常开发中一些看似司空见惯的问题上，我觉得可能大多数人其实并没有真正理解，或者理解的不够透彻。不信我们来看以下一段简单的读取文件的代码：
内存管理是Linux系统重要的组成部分。为了解决内存紧缺的问题，Linux引入了虚拟内存的概念。为了解决快速存取，引入了缓存机制、交换机制等。
在Linux系统下，我们一般不需要去释放内存，因为系统已经将内存管理的很好。但是凡事也有例外，有的时候内存会被缓存占用掉，导致系统使用SWAP空间影响性能，例如当你在Linux下频繁存取文件后,物理内存会很快被用光,当程序结束后,内存不会被正常释放,而是一直作为caching。，此时就需要执行释放内存(清理缓存)的操作了。
但是让我问你，由于 Buffer 只是将写入磁盘的数据的缓存。反过来，它还会缓存从磁盘读取的数据吗？或者 Cache 是从文件中读取数据的缓存，那么它是否也为写入文件缓存数据呢？
大家好，我是 Peter，昨天群里有小伙伴咨询page cache的问题，看到网上有篇不错的文章，分享给大家。如果大家有想看的内容，欢迎给我留言。
Linpmem是一款功能强大的Linux物理内存提取工具，该工具专为x64 Linux设计，可以帮助广大研究人员在执行安全分析过程中快速读取Linux物理内存数据。
先讲一个作者大约5-6年前我在某当时很火的一个应用分发创业公司的面试小插曲，该公司安排了一个刚工作1年多的一个同学来面我，聊到我们项目中的配置文件里写的一个开关，这位同学就跳出来说，你这个读文件啦，每个用户请求来了还得多一次的磁盘IO，性能肯定差。借由这个故事其实我发现了一个问题，虽然我们中的大部分人都是计算机科班出身，代码也写的很遛。但是在一些看似司空见惯的问题上，我们中的绝大多数人并没有真正理解，或者理解的不够透彻。
我们知道文件一般存放在硬盘（机械硬盘或固态硬盘）中，CPU 并不能直接访问硬盘中的数据，而是需要先将硬盘中的数据读入到内存中，然后才能被 CPU 访问。
Linux文件管理从用户的层面介绍了Linux管理文件的方式。Linux有一个树状结构来组织文件。树的顶端为根目录(/)，节点为目录，而末端的叶子为包含数据的文件。当我们给出一个文件的完整路径时，我们从根目录出发，经过沿途各个目录，最终到达文件。 我们可以对文件进行许多操作，比如打开和读写。在Linux文件管理相关命令中，我们看到许多对文件进行操作的命令。它们大都基于对文件的打开和读写操作。比如cat可以打开文件，读取数据，最后在终端显示： $cat test.txt 对于Linux下的程序员来说，了解文件
可以看出buff/cache占用的内存份额很大，有时候程序运行结束后，大量内存仍位于buff/cache中，有时运行程序会导致内存不足，因此需要将这部分内存释放出来。
nginx的IO模型，大家应该都有所了解。简单而言，就是一个master进程和多个worker进程（进程数由配置决定）；master进程负责accept请求并队列化，最后转发给worker进程并由其进行请求处理和响应的整个过程。
目前 Linux 下有一些使用 Python 语言编写的 Linux 系统监控工具 比如 inotify-sync（文件系统安全监控软件）、 glances（资源监控工具）在实际工作中，Linux 系统管理员可以根据自己使用的服务器的具体情况编写一下简单实用的脚本实现对 Linux 服务器的监控。 本文介绍一下使用 Python 脚本实现对 Linux 服务器 CPU 内存 网络的监控脚本的编写。 Python 版本说明 Python 是由 Guido van Rossum 开发的、可免费获得的、非常高级的
来源：Linux爱好者 ID：LinuxHub Linux文件管理从用户的层面介绍了Linux管理文件的方式。Linux有一个树状结构来组织文件。树的顶端为根目录(/)，节点为目录，而末端的叶子为包含数据的文件。当我们给出一个文件的完整路径时，我们从根目录出发，经过沿途各个目录，最终到达文件。 我们可以对文件进行许多操作，比如打开和读写。在Linux文件管理相关命令中，我们看到许多对文件进行操作的命令。它们大都基于对文件的打开和读写操作。比如cat可以打开文件，读取数据，最后在终端显示： $cat test
昨天下午，旁边的同事在学习Linux系统中的虚拟地址映射(经典书籍《程序员的自我修养-链接、装载与库》)，在看到6.4章节的时候，对于一个可执行的ELF文件中，虚拟地址的值百思不得其解！
大概就是，进程写文件（使用缓冲 IO）过程中，写一半的时候，进程发生了崩溃，会丢失数据吗？
数据库中一个核心的功能就是数据的访问， 数据的访问与计算单元越近越好，而CPU中的缓存的价格是昂贵的，并且也是稀少的，这就需要有CPU的 1 2 3 级别的缓存，CPU有一大部分的时间在处理这些缓存之间的信息交换，当然这些CACHE 也不大够处理我们的数据，所以就有了内存，同时为了永久的存储信息，将这些信息又存储到了磁盘。这就是我们整体的数据处理和存储最基本的原理，而数据库软件也一直以此来设计数据库的软件，并让他达到最大性价比。
---- 今天分享一下在linux系统在实现对文件读写一些基本的操作，在这之前我们要掌握一些基本的技能在Linux环境。比如查看命令和一个函数的具体用法，就是相当于查手册，在Linux下有一个man手册非常有用： man查询手册 man 1 +命令 这里的1表示为查询的是Linux命令 man 2 xxx 这里的2表示为查询的是linux api man 3 xxx 这里的3表示为查询的是c库函数 在了解了这个后我们就可以开始来实现标题说的操作了。 一、在linux环境下常用文件接口函数：open、close、write、read、lseek。 二、文件操作的基本步骤分为: a、在linux系统中要操作一个文件，一般是先open打开一个文件，得到一个文件扫描描述符，然后对文件进行读写操作（或其他操作），最后关闭文件即可。 b、对文件进行操作时，一定要先打开文件，然后再进行对文件操作（打开文件不成功的话，就操作不了），最后操作文件完毕后，一定要关闭文件，否则可能会造成文件损坏 c、文件平时是存放在块设备中的文件系统中的，我们把这个文件叫做静态文件，当我们去打开一个文件时，linux内核做的操作包括：内核在进程中建立了一个打开文件的数据结构， 记录下我们打开的这个文件，内核在内存中申请一段内存，并且将静态文件的内容从块设备中读取到内存中特定地址管理存放（叫动态文件） d、打开文件后，以后对这个文件的读写操作，都是针对内存中这一份动态文件的，而不是针对静态文件的。 当我们对动态文件进行读写后，此时内存中的动态文件和块设备中的静态文件就不同步了， 当我们close 关闭动态文件时，close内部内核将内存中的动态文件的内容去更新（同步）块设备中的静态文件。 三、为什么是这样操作？ 以块设备本身有读写限制（回忆Nandflash、SD、等块设备的读写特征），本身对块设备进行操作非常不灵活。而内存可以按字节为单位来操作。而且进行随机操作。 四、文件描述符是什么？ 1、文件描述符：它其实实质是一个数字，这个数字在一个进程中表示一个特定的含义，当我们open打开一个文件时，操作系统在内存中构建了一些数据结构来表示这个动态文件，然后返回给应用程序一个数字作为文件描述符，这个数字就和我们内存中维护这个动态文件的这些数据结构挂钩绑定上了。以后我们应用程序如果要操作这一个动态文件，只需要用这个文件描述符进行区分。简单来说，它是来区分多个文件的（在打开多个文件的时候）。 2、文件描述的作用域就是当前的进程，出了这个当前进程，这个文件描述符就没有意义了。 五、代码实现： 1、打开文件：
在我们进行数据持久化，对文件内容进行落盘处理时，我们时常会使用fsync操作，该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里提到的脏页(dirty page)即为页缓存(page cache)。
很多初学者在安装 Linux 系统时，都对自己的电脑配置存在质疑，担心其是否能够满足安装 Linux 的要求。本节就从 CPU、内存、硬盘、显卡等这些方面，详细介绍一下安装 Linux 系统的最低配置。
之前文章《Linux服务器性能评估与优化(一)》太长，阅读不方便，因此拆分成系列博文：
软件运行时输入单元输入内容，进入内存，CPU由控制单元和算术逻辑单元组成，控制单元控制算术逻辑单元从内存中读取数据，内存和外部存储设备进行交互，运算完毕以后输出到输出单元，完成软件的运行。
先来认识 CPU 的架构，只有理解了 CPU 的 架构，才能更好地理解 CPU 是如何读写数据的，对于现代 CPU 的架构图如下：
free命令用于显示系统内存使用情况，包括物理内存（Physical Memory）、虚拟内存（Swap Memory）、共享内存（Shared Memory）以及内核使用的缓冲（Buffers）与缓存（Cached）大小。在Linux系统监控的工具中，free命令是最经常使用的命令之一。
在操作系统中，进程间通信是指不同进程之间进行信息共享、数据传输和消息通知等交互的过程。每个进程在创建时都有自己独立的虚拟地址空间，但它们共享内核空间。因此，要实现进程间的通信，必须通过内核来进行中介，如下图所示：
最近在读一本<<软件架构设计:大型网站技术架构与业务融合之道>>,它就像是把你平时一点点积累的知识有条理且有深度的整合。一步一步的将读者断断续续的知识接起来。以下文章是记录书本中的一些知识并加以拓展。
Linux 内存管理模型非常直接明了，因为 Linux 的这种机制使其具有可移植性并且能够在内存管理单元相差不大的机器下实现 Linux，下面我们就来认识一下 Linux 内存管理是如何实现的。
[注: 转载自今日头条号"闪念基因"] 在我们进行数据持久化，对文件内容进行落盘处理时，我们时常会使用fsync操作，该操作会将文件关联的脏页(dirty page)数据(实际文件内容及元数据信息)一同写回磁盘。这里提到的脏页(dirty page)即为页缓存(page cache)。
相信不少的网友，在很多的博客文章里面，已经见到过零拷贝这个词，会不禁的发出一些疑问，什么是零拷贝？
本篇文章着眼于 Linux 页面大小对数据库性能的影响，以及如何优化数据库 Kubernetes 节点。
一直在忙,之前一直怀疑机器中马,kswapd0这个进程4核心CPU24小时跑满单核心,简单排查无果,看了
在android源码的驱动目录下，一般会有共享内存的相关实现源码，目录是：kernel\drivers\staging\android\ashmem.c。但是本篇文章不是讲解android共享内存的功能实现原理，而是讲怎么运用它。
饭是一口一口的吃，计算机也是一步一步的发展，例如下面这张英特尔公司的 CPU 型号历史：
DMA应该多多少少知道点吧。DMA(Direct Memory Access)是指在外接可以不用CPU干预，直接把数据传输到内存的技术。这个过程中可以把CPU解放出来，可以很好的提升系统性能。那么DMA和Cache有什么关系呢？这也需要我们关注？
在Linux 操作系统中，当应用程序需要读取文件中的数据时，操作系统会先分配一些内存，将数据从磁盘读入到这些内存中，然后再将数据发给应用程序；当需要往文件中写数据时，操作系统先分配内存接收用户数据，然后再将数据从内存写到磁盘上。然而，如果有大量数据需要从磁盘读取到内存或者由内存写入磁盘时，系统的读写性能就变得低下。因为无论是从磁盘读数据，还是写数据到磁盘，都是一个很消耗时间和系统资源的过程。
Netty 实现高性能的另一个高阶特性——零拷贝。零拷贝是一个耳熟能详的词语，在 Linux、Kafka、RocketMQ 等知名的产品中都有使用，通常用于提升 I/O 性能。而且零拷贝也是面试过程中的高频问题，那么你知道零拷贝体现在哪些地方吗？Netty 的零拷贝技术又是如何实现的呢？接下来我们就针对 Netty 零拷贝特性进行详细地分析。
Linux下的程序的文件格式是ELF，里面分了各种段，有代码段、数据段、等。当运行这个程序时，系统也会给这个进程创建虚拟内存，然后把ELF中的数据分别加载到内存中的对应位置。本文整理了用cpp程序读取内存中的代码段和rodata数据段的方法。
零拷贝（Zero-Copy）是一个大家耳熟能详的概念，那么，具体有哪些框架会使用到零拷贝呢？在思考这个问题之前，让我们先一起探寻一下零拷贝机制的底层原理。
说到进程，恐怕面试中最常见的问题就是线程和进程的关系了，那么先说一下答案：在 Linux 系统中，进程和线程几乎没有区别。
在Windows下资源管理器查看内存使用的情况，如果使用率达到80%以上，再运行大程序就能感觉到系统不流畅了，因为在内存紧缺的情况下使用交换分区，频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
