mmap是linux中提高文件读写效率的一种手段，这里简单整理一下mmap的原理和使用。 高速页缓存 在介绍文件读写之前需要先了解下页缓存的机制，有助于理解文件读写的底层实现。...在linux文件读写中，内核会将文件内容缓存到物理内存中，以页为单位进行映射。...--- mmap内存映射 mmap内存映射机制可以将文件的页缓存直接映射到用户空间进行读写，读写过程就和操作用户空间的内存一样，完美的避开了系统调用的上下文切换和数据拷贝。...可以通过MAP_POPULATE标志位来强制mmap做预读（read-ahead），提前分配好缓存，有助于减少后面访问数据时页错误导致的阻塞。...如果mmap超出了这个内存边界，在访问边界外的数据时会报bus error，导致程序终止。
Linux mmap原理 前言 Linux段页式内存管理 mmap mmap内存映射原理 文字概述 mmap函数参数介绍 源码解析 1. 文件映射 2....缺页异常 mmap 和常规文件操作的区别 mmap 使用的细节 小结 ---- 前言 mmap是linux操作系统提供给用户空间调用的内存映射函数，很多人仅仅只是知道可以通过mmap完成进程间的内存共享和减少用户态到内核态的数据拷贝次数...mmap函数就是要创建一个新的vm_area_struct结构，并将其与文件的物理磁盘地址相连。 mm_struct：描述了虚拟内存的当前状态。...---- 而使用mmap操作文件中，创建新的虚拟内存区域和建立文件磁盘地址和虚拟内存区域映射这两步，没有任何文件拷贝操作。...，有2次文件拷贝工作 使用内存映射文件读/写的流程: 其特点为： 用户空间与内核空间的交互式通过映射的区域直接交互，用内存的读取代替I/O读写，文件读写效率高 可实现高效的大规模数据传输 在Linux
Linux提供了mmap()函数，用来映射物理内存。...实际上，进程之间在共享内存时，并不总是读写少量数据后就解除映射，有新的通信时，再重新建立共享内存区域。而是保持共享区域，直到通信完毕为止，这样，数据内容一直保存在共享内存中，并没有写回文件。...是以下的某个值，可以通过or运算合理地组合在一起 PROT_EXEC //页内容可以被执行 PROT_READ //页内容可以被读取 PROT_WRITE //页可以被写入 PROT_NONE...struct file *,struct vm_area_struct *); linux有2个方法建立页表: (1) 使用remap_pfn_range一次建立所有页表....因此，当要寻址某个数据时，很容易根据给定的文件及数据在文件内的偏移量而找到相应的页面。
mmap() 系统调用介绍 mmap() 系统调用能够将文件映射到内存空间，然后可以通过读写内存来读写文件。...我们先来看看 mmap() 系统调用的用法吧，mmap() 函数的原型如下： void *mmap(void *start, size_t length, int prot, int flags, int...在 32位的 Linux 内核中，每个进程都独有 4GB 的虚拟内存空间，但所有进程却共用相同的物理内存空间。...vm_area_struct 结构 在Linux内核中，虚拟内存是用过结构体 vm_area_struct 来管理的，通过 vm_area_struct 结构体可以把虚拟内存划分为多个用途不相同的内存区...，比如可以划分为数据段区、代码段区等等，vm_area_struct 结构体的定义如下： struct vm_area_struct { struct mm_struct * vm_mm; /* The
文章目录 一、mmap 与 mmap2 系统调用 二、Linux 内核中的 mmap 系统调用源码 一、mmap 与 mmap2 系统调用 ---- mmap 创建 " 内存映射 " 的 系统调用 有...2 种实现 , mmap 和 mmap2 ; 2 者区别是 : mmap 偏移单位是 " 字节 " , mmap2 偏移单位是 " 页 " , 但是在 arm 64 体系架构中 , 没有实现 mmap2..., 只实现了 mmap 系统调用 ; 二、Linux 内核中的 mmap 系统调用源码 ---- arm64 架构体系中 , 使用 mmap 系统调用 创建 " 内存映射 " , 调用 mmap 系统调用函数...函数 , 继续向下执行 ; mmap 系统调用代码如下 : SYSCALL_DEFINE1(old_mmap, struct mmap_arg_struct __user *, arg) { struct...>> PAGE_SHIFT); } 参考路径 : linux-4.12\mm\mmap.c#1534
读取命令行的输入 读取命令行的输入，如下List-1所示: List-1 mjduan@dmj:/tmp$ more read.sh echo -n "Enter your name:" read...echo后面的-n表示不换行，不然光标就不会停在name后面 read后面加上一个-p，这样read命令可以显示提示，且将结果存在变量email中，如下List-2 加上一个-s就是读取密码...read.sh Enter your name:mjduan Hello mjduan Enter your email:126@mail.com Your email:126@mail.com 读取文件的内容
~/Downloads/research/linux-5.15.4/include/linux/mm_types.h struct page { unsigned long flags;
memory.h> int main(int argc, char *argv[]) { char *m; size_t s = (8UL * 1024 * 1024); m = mmap
作者：freeboy1015 来源：http://lib.csdn.net/article/linux/62126 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存...实际上，进程之间在共享内存时，并不总是读写少量数据后就解除映射，有新的通信时，再重新建立共享内存区域。而是保持共享区域，直到通信完毕为止，这样，数据内容一直保存在共享内存中，并没有写回文件。...是以下的某个值，可以通过or运算合理地组合在一起 PROT_EXEC //页内容可以被执行 PROT_READ //页内容可以被读取 PROT_WRITE //页可以被写入 PROT_NONE //页不可访问...下面是struct vm_area_struct结构体的定义： #include /* This struct defines a memory VMM memory...结构的成员: int (*mmap)(struct file *,struct vm_area_struct *); linux有2个方法建立页表: (1) 使用remap_pfn_range一次建立所有页表
在内存映射的过程中，并没有实际的数据拷贝，文件没有被载入内存，只是逻辑上被放入了内存，具体到代码，就是建立并初始化了相关的数据结构（struct address_space），这个过程有系统调用mmap...（也就是该文件从来没有被读入内存的情况），则会通过mmap()建立的映射关系，从硬盘上将文件读取到物理内存中，如图1中过程3所示。...效率 从代码层面上看，从硬盘上将文件读入内存，都要经过文件系统进行数据拷贝，并且数据拷贝操作是由文件系统和硬件驱动实现的，理论上来说，拷贝数据的效率是一样的。...；而mmap()也是系统调用，如前所述，mmap()中没有进行数据拷贝，真正的数据拷贝是在缺页中断处理时进行的，由于mmap()将文件直接映射到用户空间，所以中断处理函数根据这个映射关系，直接将文件从硬盘拷贝到用户空间...，只进行了 一次数据拷贝 。
文章目录 一、do_mmap 函数执行流程 二、do_mmap 函数源码 调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的 " 整数倍 " , 如果偏移是内存页大小的整数倍..., 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ; 在 sys_mmap_pgoff 系统调用函数 中 , 最后调用了 vm_mmap_pgoff 函数 , 继续向下执行 ; 在 vm_mmap_pgoff...函数 中 , 核心处理过程就是调用 do_mmap 函数 , 这是 " 内存映射 " 创建的主要函数逻辑 ; 一、do_mmap 函数执行流程 ---- do_mmap 函数 , 主要功能是 创建 "..." 内存映射 " 主要是 do_mmap 函数实现的 , 该函数定义在 Linux 内核源码的 linux-4.12\mm\mmap.c#1320 位置 ; do_mmap 函数源码如下 : /*...(flags & (MAP_POPULATE | MAP_NONBLOCK)) == MAP_POPULATE)) *populate = len; return addr; } 源码路径 : linux
作者：freeboy1015 来源：http://lib.csdn.net/article/linux/62126 一. mmap系统调用 1. mmap系统调用 mmap将一个文件或者其它对象映射进内存...实际上，进程之间在共享内存时，并不总是读写少量数据后就解除映射，有新的通信时，再重新建立共享内存区域。而是保持共享区域，直到通信完毕为止，这样，数据内容一直保存在共享内存中，并没有写回文件。...是以下的某个值，可以通过or运算合理地组合在一起 PROT_EXEC //页内容可以被执行 PROT_READ //页内容可以被读取 PROT_WRITE //页可以被写入 PROT_NONE //页不可访问...结构的成员: int (*mmap)(struct file *,struct vm_area_struct *); linux有2个方法建立页表: (1) 使用remap_pfn_range一次建立所有页表...这个函数影响物理地址从 (pfn< size 正在被重新映射的区的大小, 以字节. prot 给新 VMA 要求的"protection".
它是 PROT_NONE 或以下多个标志的按位或组合： PROT_EXEC 页面可以被执行 PROT_READ 页面可以被读取 PROT_WRITE 页面可以被写入 PROT_NONE 页面不能被访问...而使用 mmap 操作文件，创建新的虚拟内存区域和建立文件磁盘地址和虚拟内存区域映射这两步，没有任何文件拷贝操作。...而之后访问数据时发现内存中并无数据而发起的缺页异常过程，可以通过已经建立好的映射关系，只使用一次数据拷贝，就从磁盘中将数据传入内存的用户空间中，供进程使用。...总而言之，常规文件操作需要从磁盘到页缓存再到用户主存的两次数据拷贝。而 mmap 操作文件，只需要从磁盘到用户主存的一次数据拷贝，效率更高。...4.作用 mmap 主要有两点作用： 文件映射，减少数据拷贝，提高 IO 效率。 将文件映射到进程的地址空间。
文章目录 一、vm_mmap_pgoff 函数执行流程 二、vm_mmap_pgoff 函数源码 调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的 " 整数倍 " ,...如果偏移是内存页大小的整数倍 , 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ; 在 sys_mmap_pgoff 系统调用函数 中 , 最后调用了 vm_mmap_pgoff 函数..., 继续向下执行 ; 一、vm_mmap_pgoff 函数执行流程 ---- 在 vm_mmap_pgoff 函数中 , 首先 , 以 " 写者 " 身份 , 向 Linux 内核申请 读写 " 信号量...函数源码 ---- vm_mmap_pgoff 函数定义在 Linux 内核源码中的 linux-4.12\mm\util.c#296 位置 ; vm_mmap_pgoff 函数源码如下 : unsigned...(mm, &uf); if (populate) mm_populate(ret, populate); } return ret; } 源码路径 : linux-4.12\mm\util.c
; 在 do_mmap 函数中 , 调用了 mmap_region 函数 , 创建 " 虚拟内存区域 " ; 一、mmap_region 函数执行流程 ---- 1、检查内存申请是否合法 在 mmap_region...may_expand_vm(mm, vm_flags, (len >> PAGE_SHIFT) - nr_pages)) return -ENOMEM; } 源码路径 : linux-...; 如果可以合并 , 则调用 vma_merge 空间进行内存合并 ; 如果不可以合并 , 则创建新的虚拟内存区域 , 即跳转到 out 位置进行执行 ; 如果是 文件映射 , 调用 call_mmap..., prev, rb_link, rb_parent); 源码路径 : linux-4.12\mm\mmap.c#1710 vma_set_page_prot(vma); 源码路径 : linux-4.12...\mm\mmap.c#1743 二、mmap_region 函数源码 ---- mmap_region 函数源码 定义在 Linux 内核源码的 linux-4.12\mm\mmap.c#1602 位置
二级页表地址旺射的最小单位有4K、1K，Linux使用4K。...① 读取内存addr处的数据时： 先看看cache中有没有addr的数据，如果有就直接从cache里返回数据：这被称为cache命中。...写回(write back)： 新数据只是写入cache，不会立刻写入内存，cache和内存中的数据并不一致。...这在很多时间要小心处理：比如CPU产生了新数据，DMA把数据从内存搬到网卡，这时候就要CPU执行命令先把新数据从cache刷到内存。...反过来也是一样的，DMA从网卡得过了新数据存在内存里，CPU读数据之前先把cache中的数据丢弃。
① 读取内存addr处的数据时： 先看看cache中有没有addr的数据，如果有就直接从cache里返回数据：这被称为cache命中。...写回(write back)： 新数据只是写入cache，不会立刻写入内存，cache和内存中的数据并不一致。...新数据写入cache时，这一行cache被标为“脏”(dirty)；当cache不够用时，才需要把脏的数据写入内存。 使用写回功能，可以大幅提高效率。但是要注意cache和内存中的数据很可能不一致。...这在很多时间要小心处理：比如CPU产生了新数据，DMA把数据从内存搬到网卡，这时候就要CPU执行命令先把新数据从cache刷到内存。...反过来也是一样的，DMA从网卡得过了新数据存在内存里，CPU读数据之前先把cache中的数据丢弃。
Linux下的进程间通信也可以使用mmap的内存共享映射来实现，mmap的作用就是把磁盘文件的一部分直接映射到进程的内存中，那么进程就可以直接对该内存文件进行操作，mmap也设置了两种机制...通过这样的内存共享映射就相当于是进程直接对磁盘中的文件进行读写操作一样，那么如果有两个进程来mmap同一个文件，就实现了进程间的通信。...磁盘中的文件通过mmap函数来实现映射，然后通过munmap函数取消映射。...还有在进行通信时可以将数据封装为一个结构体，通过结构体进行数据的传递。...如果在运行中出现Bus error (core dumped)错误，需要考虑共享文件是否有存储空间(也就是说你要mmap一个4096的文件，但实际文件没有4096那么大)。
文章目录 一、sys_mmap_pgoff 系统调用函数执行流程 二、sys_mmap_pgoff 系统调用函数源码 调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的..." 整数倍 " , 如果偏移是内存页大小的整数倍 , 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ; 一、sys_mmap_pgoff 系统调用函数执行流程 ---- 在 sys_mmap_pgoff...函数 , 继续向后执行 ; 二、sys_mmap_pgoff 系统调用函数源码 ---- 该 sys_mmap_pgoff 系统调用函数源码 , 定义在 Linux 内核源码的 linux-4.12\...mm\mmap.c#1475 位置 ; sys_mmap_pgoff 函数源码如下 : SYSCALL_DEFINE6(mmap_pgoff, unsigned long, addr, unsigned...(file, addr, len, prot, flags, pgoff); out_fput: if (file) fput(file); return retval; } 源码路径 : linux
通过《Linxu进程的内存管理》，我们知道了进程内存的最小单位是vma，根据不同的用处又划分了不同类型的vma，比如 heap: 动态分配和释放的内存 stack: 存放局部变量和实现函数调用 mmap...malloc 在linux标准libc库种，malloc函数的实现会根据分配内存的size来决定使用哪个分配函数，当size小于等于128KB时，调用brk分配；当size大于128KB时，调用mmap...size可由M_MMAP_THRESHOLD选项调节。如下图： ?...sys_brk分配过过程主要是调整brk位置 sys_mmap分配过程中主要是在堆和栈中间(memory mapping segment)找一段空闲的虚拟内存 ?...mmap 私有匿名映射：通常用于内存分配，堆，栈 共享匿名映射：通常用于进程间共享内存，在内存文件系统中创建/dev/zero设备 私有文件映射：通常用于加载动态库，代码段，数据段 共享文件映射：通常用于文件读写和进程间通信
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
