首页
学习
活动
专区
工具
TVP
发布

Java内存映射原理与实现

大家好,又见面了,我是你们朋友全栈君。 Java内存映射原理与实现 01. 虚拟内存内存映射文件 1.1. 概念 1.2 区别 02. 内存映射文件原理 03....内存映射文件效率 01. 虚拟内存内存映射文件 1.1. 概念 虚拟内存 虚拟内存属于硬盘一部分,是计算机RAM与硬盘数据交换分区。...内存映射文件 内存映射文件是由一个文件到一块内存映射。 应用程序可以通过内存指针对磁盘上文件进行访问,就如同访问加载了文件内存,因此内存文件映射非常适合于用来管理大文件。...内存映射文件架构在程序地址空间之上 32位机地址空间只有4G,而某些大文件尺寸可要要远超出这个值,因此,用地址空间中某段应用文件中一部分可解决处理大文件问题,在32中,使用内存映射文件可以处理...内存映射文件原理 “映射”就是建立一种对应关系,主要是指硬盘上文件位置与进程逻辑地址空间中一块相同区域之间一一对应。

66620
您找到你想要的搜索结果了吗?
是的
没有找到

Java内存映射缓存区是什么?

Java内存映射缓存区(Memory-mapped buffer)是一种将文件或文件一部分直接映射到程序内存技术。...简单来说,内存映射缓存区允许 Java 程序在处理文件时像处理一个非常大字节数组一样进行操作,而不用担心过多 I/O 负担或频繁磁盘访问。...操作系统负责管理内存加载和卸载,而 Java 程序只需要访问这块内存区域即可。...实现方式: 在 Java 中使用内存映射缓存区需要借助于 NIO(New IO)库中 MappedByteBuffer 类。...在 Java 中,内存映射缓存区是一种高效、方便技术,通过将文件映射到进程地址空间中虚拟内存区域,Java 程序可以像处理一个非常大字节数组一样进行操作。

22020

【Linux 内核 内存管理】内存映射原理 ② ( 内存映射概念 | 文件映射 | 匿名映射 | 内存映射原理 | 分配虚拟内存页 | 产生缺页异常 | 分配物理内存页 | 共享内存 | 进程内存 )

文章目录 一、内存映射概念 二、内存映射原理 1、分配虚拟内存页 2、产生缺页异常 3、分配物理内存页 三、共享内存 四、进程内存内存映射类型 一、内存映射概念 ---- 内存映射 概念 : "...内存映射 “ 就是在 进程 ” 用户虚拟地址空间 " 中 , 创建一个 映射 , " 内存映射 " 有 2 种情况 , ① 文件映射 , ② 匿名映射 ; 文件映射 : 有 文件 支持 内存映射..., 将 指定文件 指定位置 指定大小 数据 , 映射到 进程 " 用户虚拟地址空间 " 中 , 文件内容直接装载到该 虚拟内存 中 ; 匿名映射 : 没有 文件 支持 内存映射 , 只是将...才可以 ; 如果修改了 进程间 " 共享内存 " 对应 " 文件映射 " , 修改后不会立刻更新到文件中 , 调用 msync 函数 , 强制同步写入到文件中 ; 四、进程内存内存映射类型...---- 在 进程 " 用户虚拟地址空间 " 中 , 不同 内存段 其 内存映射 类型也是不同 : 代码段 : 私有的 " 文件映射 " ; 数据段 : 私有的 " 文件映射 " ; 未初始化数据段

7.9K20

java nio 中ByteBuffer 、内存文件映射含义与使用

ByteBuffer 是 java.nio 包下提供一个类,提供了堆内内存分配与堆外内存分配机制,堆内内存分配方式:ByteBuffer.allocate(size)分配大小为size字节数组...,使得应用程序直接访问内存映射文件与同访问真实磁盘文件一样操作,在正常模式下,应用程序对磁盘文件访问通常需要经过一下步骤:应用程序空间->内核空间->磁盘文件,那么使用内存映射文件访问流程:应用程序...->磁盘文件,内存映射文件持有磁盘地址,在访问时通过地址映射转换直接访问磁盘空间,不需要经过内核空间到用户空间传输,需要理解内存映射文件对于应用程序或者操作系统都是透明,二者均可访问。...大文件传输: 按照常理文件传输流程: 磁盘-> 内核空间->用户空间->内核空间->磁盘,中间进行多次数据拷贝,使用内存文件映射方式传输,两个进程都可访问内存映射文件,使得在文件传输变为内存映射文件传输...zero copy同样也是通过java.nio.channels.FileChannel.transferTo 将源数据直接通过内存空间文件映射方式发送到目标通道,此时目标通道就是网卡通道(SocketChannel

85620

Java内存映射,上G大文件轻松处理

内存映射文件(Memory-mapped File),指的是将一段虚拟内存逐字节映射于一个文件,使得应用程序处理文件如同访问主内存(但在真正使用到这些数据前却不会消耗物理内存,也不会有读写磁盘操作),...对于小文件,内存映射文件反而会导致碎片空间浪费,因为内存映射总是要对齐页边界,最小单位是 4 KiB,一个 5 KiB 文件将会映射占用 8 KiB 内存,也就会浪费 3 KiB 内存。...java.nio 包使得内存映射变得非常简单,其中核心类叫做 MappedByteBuffer,字面意思为映射字节缓冲区。...;带缓冲输入流表现还不错,但相比内存映射文件就逊色多了。...由此得出结论就是:内存映射文件,上G大文件轻松处理。 05、最后 本篇文章主要介绍了 Java 内存映射文件,MappedByteBuffer 是其灵魂,读取速度快如火箭。

2K30

漫画解说 “内存映射

虚拟内存空间与物理内存空间 虚拟内存地址就好比每个班学号,而物理内存地址就好比真实学生。因为每个学号都对应不同学生,所以虚拟内存地址也要映射到物理内存地址。...虚拟内存与物理内存映射关系是通过 页表 来关联,如下图: 但 页表 并不是按字节来进行映射,而是按照 内存页 为单位进行映射,一般一个 内存大小为 4KB(为什么要加一般呢,这是因为除了4KB...也就是说,0 ~ 4095 虚拟内存地址都是使用 页表 第一个 页表项 来映射,而 4096 ~ 8191 虚拟内存地址使用 页表 第二个 页表项 来映射,以此类推......现在对内存映射原理有了比较清晰了解了,但现在有个问题,每个进程都要 1MB 大小页表,那不是很浪费内存吗?...把原来 页表 划分为两级后,进程有些不使用虚拟内存地址就不需要进行映射,从而节省了内存使用。

81940

内存映射技术分析

考虑到MMIO比PIO复杂很多,涉及更多概念,作者打算先分析几篇基本Linux内存管理概念,再来分析MMIO。 作者大概想了一下,主要由这几篇构成: 1,虚拟内存管理和内存映射。...据一位懂BIOS的人和我说,BIOS中也可以配置一次,再做一次映射~ 5,内存映射 看上面例子中虚拟地址空间,和物理地址范围,二者其实不是对应。...linux会组织起来一个数据叫做page table(传说中页表),把虚拟内存和物理内存之间映射关系保存到page table中,再把page table地址告诉MMU,MMU就可以在CPU访问虚拟地址时候...remap_pfn_range是关键函数:函数中实现了pud、pmd、pte运算,并把物理内存地址填入pte中。 仔细,完整阅读remap_pfn_range函数,大概就了解内存映射了。...后记: 因为这里主要是给后面的MMIO做铺垫,所以在这里就没有详细介绍Linux内存映射技术。

2.2K110

Linux内存映射——mmap

大家好,又见面了,我是你们朋友全栈君。 一 mmap系统调用 1.内存映射 所谓内存映射就是把物理内存映射到进程地址空间之内,这些应用程序就可以直接使用输入输出地址空间,从而提高读写效率。...共享内存内容往往是在解除映射时才写回文件。因此,采用共享内存通信方式效率是非常高。 基于文件映射,在mmap和munmap执行过程任何时刻,被映射文件st_atime可能被更新。...当交换空间不被保留,同时内存不足,对映射修改会引起段违例信号。 MAP_LOCKED //锁定映射页面,从而防止页面被交换出内存。...四 总结 1.对于mmap内存映射,是将物理内存映射到进程虚拟地址空间中去,那么进程对文件访问就相当于直接对内存访问,从而加快了读写操作效率。...remap_pfn_range不能对常规内存映射,只能对保留内存与物理内存之外进行映射。 2.在这里,要分清几个地址,一个是物理地址,这个很简单,就是物理内存实际地址。

5.4K10

iOS文件内存映射——mmap

iOS系统使用页缓存机制,通过MMU(Memory Management Unit)将虚拟内存地址和物理地址进行映射,并且由于进程地址空间和系统地址空间不一样,所以还需要多一次拷贝。...而mmap将磁盘上文件地址信息与进程用虚拟逻辑地址进行映射,建立映射过程与普通内存读取不同:正常是将文件拷贝到内存,mmap只是建立映射而不会将文件加载到内存中。...这样做注意事项: 1、牺牲较大虚拟内存映射区域有多大就需要虚拟内存有多大;(故而太大文件不适合映射整个文件,32位虚拟内存最大是4GB,可以只映射部分) 2、因为映射有额外性能消耗,所以适用于频繁读操作场景...,设置NULL则让系统决定映射开始地址; length:映射区域长度,单位是Byte; prot:映射内存保护标志,主要是读写相关,是位运算标志;(记得与下面fd对应句柄打开设置一致) flags...总结 mmap就是文件内存映射,通常读取文件是将文件读取到内存,会占用真正物理内存;而mmap是用进程内存虚拟地址空间去映射实际文件中,这个过程由操作系统处理。

2.5K10

高端内存映射之kmap持久内核映射--Linux内存管理(二十)

1 高端内存与内核映射 尽管vmalloc函数族可用于从高端内存域向内核映射页帧(这些在内核空间中通常是无法直接看到), 但这并不是这些函数实际用途....持久映射用于将高端内存域中非持久页映射到内核中 固定映射是与物理地址空间中固定页关联虚拟地址空间项,但具体关联页帧可以自由选择....它与通过固定公式与物理内存关联直接映射页相反,虚拟固定映射地址与物理内存位置之间关联可以自行定义,关联建立后内核总是会注意到. ?...总之,内核高端线性地址是为了访问内核固定映射以外内存资源。进程在使用内存时,触发缺页异常,具体将哪些物理页映射给用户进程是内核考虑事情. 在用户空间中没有高端内存这个概念....即内核对于低端内存, 不需要特殊映射机制, 使用直接映射即可以访问普通内存区域, 而对于高端内存区域, 内核可以采用三种不同机制将页框映射到高端内存 : 分别叫做永久内核映射、临时内核映射以及非连续内存分配

3.3K10

【Linux 内核 内存管理】内存管理系统调用 ④ ( 代码示例 | mmap 创建内存映射 | munmap 删除内存映射 )

: 映射开始地址 sizeof(student) * 1 : 文件映射长度 PROT_READ | PROT_WRITE : 内存保护标志位 , 该内存内容可以 读取 写入 MAP_SHARED...: 指定映射关系 , 指的是该映射是进程共享内存空间 fd : 文件描述符 , 被映射文件 0 : 被映射文件偏移量 , 从文件哪个字节位置开始映射 如果返回 -1 指针 , 则说明 内存映射...PROT_WRITE : 内存保护标志位 , 该内存内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程共享内存空间 // fd : 文件描述符..., 该内存内容可以 读取 写入 // MAP_SHARED : 指定映射关系 , 指的是该映射是进程共享内存空间 // fd : 文件描述符 , 被映射文件 //...指向内存中 , 该内存是文件映射内存 // 拷贝内存同时 , 也会修改文件内容 memcpy((*(p_student + i)).name, &name_char

1.3K10

3、mmap(内存映射、共享)

mmap:内存映射(内存、用户缓冲区共享一块映射数据) 直接将磁盘文件数基于DMA引擎拷贝据映射到内核缓冲区,同时用户缓冲区是跟内核缓冲区共享一块映射数据, 建立映射后,不需要从内核缓冲区拷贝到用户缓冲区...传统IO,read() 系统调用过程中会把内核缓冲区数据拷贝到用户缓冲区里,为了减少这一步开销,我们可以用 mmap() 替换 read() 系统调用函数。...mmap() 系统调用函数会直接把内核缓冲区里数据映射到用户空间,这样,操作系统内核与用户空间共享缓冲区,就不需要再进行任何数据拷贝操作。...mmap file ,write socket 隐含了read file and copy file to socket buffer1、第一次拷贝:应用进程调用了 mmap() 后,DMA 会把磁盘数据拷贝到内核缓冲区里...;3、第三次拷贝:最后,把内核 socket 缓冲区里数据,拷贝到网卡缓冲区里,这个过程是由 DMA 搬运

10600

Linux内核编程--内存映射和共享内存

文件内存映射示意图: 对于用户进程和内核进程: 将用户进程一段内存区域映射到内核进程,映射成功后,用户进程对这段内存区域修改直接反映到内核空间,同样,内核进程对这段内存区域修改也直接反映到用户空间...没有内存映射I/O操作示意图: 磁盘->内核空间->用户空间 有内存映射I/O操作示意图:少了一个copy操作 内存映射优点: 减少了拷贝次数,节省I/O操作开支 用户空间和内核空间可以直接高效交互...offset); start:用户进程中要映射某段内存区域起始地址,通常为NULL(由内核来指定) length:要映射内存区域大小 prot:期望内存保护标志 flags:指定映射对象类型...fd:要映射文件描述符 offset:要映射用户空间内存区域在内核空间中已经分配好了内存区域中偏移 --prot参数取值: PROT_READ:映射区可读 PROT_WRITE:映射区可写...: 内存映射和共享内存区别: 1.内存映射与文件关联,共享内存不需要与文件关联,把共享内存理解为内存一个匿名片段。

5.7K10

iOS文件内存映射——MMAP

iOS系统使用页缓存机制,通过MMU(Memory Management Unit)将虚拟内存地址和物理地址进行映射,并且由于进程地址空间和系统地址空间不一样,所以还需要多一次拷贝。...而mmap将磁盘上文件地址信息与进程用虚拟逻辑地址进行映射,建立映射过程与普通内存读取不同:正常是将文件拷贝到内存,mmap只是建立映射而不会将文件加载到内存中。...App 只管往里面写数据,由 iOS 负责将内存回写到文件,不必担心 crash 导致数据丢失。 下面两个图分别显示进程读取磁盘文件过程和使用mmap进行文件映射过程。 ? 图1 ?...,设置NULL则让系统决定映射开始地址; length:映射区域长度,单位是Byte; prot:映射内存保护标志,主要是读写相关,是位运算标志;(记得与下面fd对应句柄打开设置一致) flags...,通常读取文件是将文件读取到内存,会占用真正物理内存;而mmap是用进程内存虚拟地址空间去映射实际文件中,这个过程由操作系统处理。

1.6K20

【Linux 内核 内存管理】内存管理系统调用 ② ( mmap 创建内存映射 | mmap 创建内存映射 与 malloc 申请内存对比 | mmap 创建内存映射 与 普通文件操作对比 )

文章目录 一、mmap 创建内存映射 与 malloc 申请内存对比 1、malloc 函数原型 2、malloc 申请动态内存过程 3、malloc 使用系统调用判定 ( brk | mmap )...4、mmap 创建内存映射 二、mmap 创建内存映射 与 普通文件操作 对比 一、mmap 创建内存映射 与 malloc 申请内存对比 ---- 1、malloc 函数原型 C 标准库 stdlib.h..." , glibc 库 " 内存分配器 " ptmalloc , 负责调用 系统接口层 brk sbrk mmap munmap 等系统调用 申请内存 ; ② 系统调用 : 用户空间 内存管理函数...; 4、mmap 创建内存映射 mmap 可以直接向 Linux 内核申请 " 虚拟内存 " , 不需要经过 " 用户态 “ 与 ” 内核态 " 之间转换 ; 二、mmap 创建内存映射 与 普通文件操作...与 内核模式 切换开销 , 提高了文件操作性能 ; 此外 , 多个进程之间 , 可以使用 mmap 系统调用 创建 共享 " 文件映射 “ 类型内存映射 “ , 进而实现了 ” 共享内存操作

5.8K20
领券