Java 中的内存映射缓存区（Memory-mapped buffer）是一种将文件或文件的一部分直接映射到程序内存中的技术。简单来说，内存映射缓存区允许 Java 程序在处理文件时像处理一个非常大的字节数组一样进行操作，而不用担心过多的 I/O 负担或频繁的磁盘访问。为了更好地理解内存映射缓存区，我将从底层实现和使用场景两个方面进行说明。
ByteBuffer 是 java.nio 包下提供的一个类，提供了堆内内存分配与堆外内存分配机制，堆内内存分配方式：ByteBuffer.allocate(size)分配大小为size的字节数组；堆外内存分配方式：ByteBuffer.allocateDirect(size), 在堆外内存空间分配大小为size的空间地址。ByteBuffer.allocateDirect 返回的是一个DirectByteBuffer对象。
稍微解释一下虚拟内存（很明显，不是物理内存），它是计算机系统内存管理的一种技术。像施了妖法一样使得应用程序认为它拥有连续的可用的内存，实际上呢，它通常是被分隔成多个物理内存的碎片，还有部分暂时存储在外部磁盘存储器上，在需要时进行数据交换。
“映射”就是建立一种对应关系，主要是指硬盘上文件的位置与进程逻辑地址空间中一块相同区域之间一一对应。这种关系纯属是逻辑上的概念，物理上是不存在的，原因是进程的逻辑地址空间本身就是不存在的，在内存映射过程中，并没有实际的数据拷贝，文件没有被载入内存，只是逻辑上放入了内存，具体到代码，就是建立并初始化了相关的数据结构，这个过程有系统调用mmap()实现，所以映射的效率很高。
本节介绍内存映射文件，内存映射文件不是Java引入的概念，而是操作系统提供的一种功能，大部分操作系统都支持。 我们先来介绍内存映射文件的基本概念，它是什么，能解决什么问题，然后我们介绍如何在Java中使用，我们会设计和实现一个简单的、持久化的、跨程序的消息队列来演示内存映射文件的应用。 基本概念 所谓内存映射文件，就是将文件映射到内存，文件对应于内存中的一个字节数组，对文件的操作变为对这个字节数组的操作，而字节数组的操作直接映射到文件上。这种映射可以是映射文件全部区域，也可以是只映射一部分区域。 不过，这种
一般高性能的涉及到存储框架，例如 RocketMQ，Kafka 这种消息队列，存储日志的时候，都是通过 Java File MMAP 实现的，那么什么是 Java File MMAP 呢？
到目前为止，我们已经使用缓冲区进行日常工作所需要掌握的大部分内容。例子没怎么超出标准的读/写过程种类，在原来的 I/O 中可以像在 NIO 中一样容易地实现这样的标准读写过程。
首先来看一下一般的IO调用。在传统的文件IO操作中，我们都是调用操作系统提供的底层标准IO系统调用函数 read()、write() ，此时调用此函数的进程（在JAVA中即java进程）由当前的用户态切换到内核态，然后OS的内核代码负责将相应的文件数据读取到内核的IO缓冲区，然后再把数据从内核IO缓冲区拷贝到进程的私有地址空间中去，这样便完成了一次IO操作。如下图所示。
我们一般通过两个工具 pmap 还有 jcmd 中的 VM.native_memory 命令去查看 Java 进程内存占用，由于 pmap 命令有点复杂而且很多内存映射是 anon 的，这里采用 jcmd 中的 VM.native_memory 命令，去看一下 JVM 内存的每一部分。
为了快速构建项目，使用高性能框架是我的职责，但若不去深究底层的细节会让我失去对技术的热爱。 探究的过程是痛苦并激动的，痛苦在于完全理解甚至要十天半月甚至没有机会去应用，激动在于技术的相同性，新的框架不再是我焦虑。 每一个底层细节的攻克，就越发觉得自己对计算机一无所知，这可能就是对知识的敬畏。
Android开发中，我们可能需要记录一些文件。例如记录log文件。如果使用流来写文件，频繁操作文件io可能会引起性能问题。
通道是 Java NIO 的核心内容之一，在使用上，通道需和缓存类（ByteBuffer）配合完成读写等操作。与传统的流式 IO 中数据单向流动不同，通道中的数据可以双向流动。通道既可以读，也可以写。这里我们举个例子说明一下，我们可以把通道看做水管，把缓存看做水塔，把文件看做水库，把水看做数据。当从磁盘中将文件数据读取到缓存中时，就是从水库向水塔里抽水。当然，从磁盘里读取数据并不会将读取的部分从磁盘里删除，但从水库里抽水，则水库里的水量在无补充的情况下确实变少了。当然，这只是一个小问题，大家不要扣这个细节哈，继续往下说。当水塔中存储了水之后，我们可以用这些水烧饭，浇花等，这就相当于处理缓存的数据。过了一段时间后，水塔需要进行清洗。这个时候需要把水塔里的水放回水库中，这就相当于向磁盘中写入数据。通过这里例子，大家应该知道通道是什么了，以及有什么用。既然知道了，那么我们继续往下看。
FileChannel FileChannel 可以通过 RandomAccessFile 获取，或者FileChannel.open，亦或 IS/OS 获取。write 和 read 都是通过 ByteBuffer 来存储。 FileChannel.open 时可以提供 OpenOption 来定义行为，如果需要写的话可以使用 write 和 append 模式，在不确定文件是否存在是加入 Create，这样如果不存在会自动创建。 write 和 append 有什么区别？ 这两种模式声明的不是 Fil
IPC全名为inter-Process Communication，含义为进程间通信，是指两个进程之间进行数据交换的过程。在Android和Linux中都有各自的IPC机制，这里分别来介绍下。
在笔者上一篇博客，详解了NIO，并总结NIO相比BIO的效率要高的三个原因，点击查看。
在使用FileChannel之前，必须先打开它。但是，我们无法直接打开一个FileChannel，需要通过使用一个InputStream、OutputStream或RandomAccessFile来获取一个FileChannel实例。下面是通过RandomAccessFile打开FileChannel的示例：
简介 随着公司业务量的逐年成长，粘性会话(Sticky Session)越来越成为应用横向扩展(Scale Out)的瓶颈，为消除粘性会话，支持应用无状态(Stateless)，我们SOA团队在今年发起了集中式会话服务器(Centralized SessionServer)项目，该项目的核心是一个我们独立设计和开发的高性能持久化的Key/Value存储引擎，我们称为SessionDB，本文介绍SessionDB存储引擎的特性，架构和设计，我们的性能优化，并做出性能评测和分析。 我们的Key-Value存储引
想写这个系列很久了，对自己也是个总结与提高。原来在学JAVA时，那些JAVA入门书籍会告诉你一些规律还有法则，但是用的时候我们一般很难想起来，因为我们用的少并且不知道为什么。知其所以然方能印象深刻并学以致用。
Java NIO(New Input/Output)——新的输入/输出API包——是2002年引入到J2SE 1.4里的。Java NIO的目标是提高Java平台上的I/O密集型任务的性能。过了十年，很多Java开发者还是不知道怎么充分利用NIO，更少的人知道在Java SE 7里引入了更新的输入/输出 API（NIO.2）。这篇教程展示了5个在Java编程的一些常见场景里使用NIO和NIO.2包的简单示例。
可参考： MappedByteBuffer以及ByteBufer的底层原理 概述 Bytebuffer分为两种：间接地和直接的，所谓直接就是指MappedByteBuffer，直接使用内存映射（java的话就意味着在JVM之外分配虚拟地址空间）；而间接的ByteBuffer是在JVM的堆上面的。间接缓冲区就是我们通常说的堆缓冲区。 直接缓冲区 java内部是使用 DirectByteBuffer 来实现的。 堆缓冲区java内部是使用 HeapByteBuffer 来实现的。 class DirectB
文章摘要：上篇中主要介绍了RocketMQ存储部分的整体架构设计，本篇将深入分析RocketMQ存储部分的细节内容 在本篇文章中，小编将继续深入分析与介绍RocketMQ消息存储部分中的关键技术—Mmap与PageCache、几种RocketMQ存储优化技术（包括预先创建分配MappedFile、文件预热和mlock系统调用）、RocketMQ内部封装类—CommitLog/MappedFile/MappedFileQueue/ConsumeQueue的简析。然后，再简要介绍下RocketMQ消息刷盘两种主要方式。在读完本篇幅后，希望读者能够对RocketMQ消息存储部分有一个更为深刻和全面的认识。
七 Java NIO AsynchronousFileChannel异步文件通
对象序列化是以特殊的文件格式存储对象数据的。当存储一个对象时，这个对象所属的类也必须存储。这个类的描述包含：
只有ByteBuffer可以获得直接缓冲区，通过allocateDirect()获取的缓冲区为直接缓冲区，这些缓冲区是建立在物理内存之中的。
1.为什么创建文件（commitLog）时要预热？ 2.为什么要写入1G大小的假值（0）呢？ 3.为什么要锁定内存？ 4.预热流程是怎么样的？
在本文中，我们来了解下Kafka是如何存储消息数据的。了解了这些，有助于你在遇到性能问题的时候更好地调试，让你知道每个broker配置实际上所起的作用。那么，Kafka内部的存储是什么样的呢？
在操作系统中，从内核的形态区分，可以分为内核态（Kernel Space）和用户态（User Space）。
从字面意思理解就是数据不需要来回的拷贝，大大提升了系统的性能；这个词我们也经常在java nio，netty，kafka，RocketMQ等框架中听到，经常作为其提升性能的一大亮点；下面从I/O的几个概念开始，进而在分析零拷贝。
缓冲区是所有I/O的基础，I/O讲的无非就是把数据移进或移出缓冲区；进程执行I/O操作，就是向操作系统发出请求，让它要么把缓冲区的数据排干(写)，要么填充缓冲区(读)；下面看一个java进程发起read请求加载数据大致的流程图：
xxxBuffer buffer = xxxBuffer.allocate（最大容量）；
Java提供的MappedByteBuffer底层实现靠的是mmap技术，当然这里指的是Linux平台，因此建议大家先了解一下mmap在Linux上的实现原理，然后在来阅读本篇文章:
内存映射 概念 : " 内存映射 “ 就是在 进程的 ” 用户虚拟地址空间 " 中 , 创建一个 映射 , " 内存映射 " 有
相信不少的网友，在很多的博客文章里面，已经见到过零拷贝这个词，会不禁的发出一些疑问，什么是零拷贝？
Java 中原生读写方式大概可以被分为三种：普通 IO，FileChannel（文件通道），mmap（内存映射）。
java nio 的全称是 java new I/O ，即一个全新的 I/O 控制系统，它的 API 的包名为 java.nio ，是在 jdk1.4 后引入的。
MESI 只是 CPU 层级的保证一致性的一种方式,最简单粗暴保证 CPU 一致性的其实就是直接锁总线,因为总线只有一条! 而 JVM 的 hotspot 就是直接锁总线,确保了 volatile 作用. 所以二者毫无关系!!!
proc 是一个虚拟文件系统，在Linux 系统中它被挂载于/proc 目录之上。proc 有多个功能 ，这其中包括用户可以通过它访问内核信息或用于排错，这其中一个非常有 用的功能，也是Linux 变得更加特别的功能就是以文本流的形式来访问进程信息。很Linux 命令( 比如 ps 、toPpstree 等) 都需要使用这个文件系统的信息。 maps /proc/[pid]/maps显示进程内存区域映射信息 > cat /proc/1751/maps 00400000-00401000 r-xp 000
如下的程序，将一个行数为fileLines的文本文件平均分为splitNum个小文本文件，其中换行符’r’是linux上的，windows的java换行符是’\r\n’： package kddcup2012.task2.FileSystem; import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java
JAVA虚拟机内部便会调用OS底层的 read()系统调用完成操作，在调用 in.read()的时候就是从内核缓冲区直接返回数据了。
将一个文件或其它对象映射到进程地址空间，实现文件在磁盘的存储地址和进程地址空间中一段虚拟地址的映射关系。有了这样的映射，进程利用指针直接读写虚拟地址就可以完成对文件的读写操作。这样可以避免进行read/write函数操作。
从 JDK1.4 开始（2002 年发布的），Java 提供了 NIO ，主要包含在 java.nio 软件包及其子包中，并被命名为 New I/O（NIO）距今已经十几年了，其实已经算不得新了。
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
零拷贝技术指在计算机执行操作时，CPU不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及CPU的拷贝时间。它的作用是在数据报从网络设备到用户程序空间传递的过程中，减少数据拷贝次数，减少系统调用，实现CPU的零参与，彻底消除CPU的负载。
以上是 Java 处理大型数据集的一些解决方案，每种解决方案都有适合的场景和使用范围。具体情况需要结合实际的业务需求来选择合适的方案。
几种进程间的通信方式：管道，FIFO，消息队列，他们的共同特点就是通过内核来进行通信（假设POSIX消息队列也是在内核中实现的，因为POSIX标准并没有限定它的实现方式）。向管道，FIFO，消息队列写入数据需要把数据从进程复制到内核，从这些IPC读取数据的时候又需要把数据从内核复制到进程。所以这种IPC方式往往需要2次在进程和内核之间进行数据的复制，即进程间的通信必须借助内核来传递。如下图所示：
首先 , 创建 " 匿名内存映射 “ , 将 ” 物理内存页 “ 映射到 进程的 ” 用户虚拟地址空间 " 中 ;
基于流的方式进行数据写入，可以使用 Apache POI 库中的 SXSSFWorkbook 类，该类采用了基于流的方式进行数据写入，避免将所有数据一次性加载到内存中。下面是一个简单的代码示例，假设需要将数据导出到名为 “test.xlsx” 的 Excel 文件中：
版权声明：本文为博主原创文章，未经博主允许不得转载，更多请继续关注Carson_Ho https://blog.csdn.net/carson_ho/article/details/87685001
一直都对内存映射文件这个概念很模糊，不知道它和虚拟内存有什么区别，而且映射这个词也很让人迷茫，今天终于搞清楚了。。。下面，我先解释一下我对映射这个词的理解，再区分一下几个容易混淆的概念，之后，什么是内存映射就很明朗了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
