公众号《鲁大猿》 ，寻精品资料，帮你构建Java全栈知识体系 http://www.jiagoujishu.cn
阻塞与非阻塞主要是程序等待消息通知时的状态角度来说的。阻塞调用是指调用结果返回之前，当前线程会被挂起，一直处于等待消息通知，不能够执行其他业务。
上一篇文章 主要分析了 Linux 原生 AIO 的原理和使用，而这篇要介绍的是 Linux 原生 AIO 的实现过程。
我们看到，通过 DMA 芯片进行的硬盘读写过程需要进行四次特权级切换和四次拷贝操作。
文件系统—一种把数据组织成文件和目录的存储方式，提供了基于文件的存取接口，并通过文件权限控制访问。
零拷贝（Zero-Copy）是一个大家耳熟能详的概念，那么，具体有哪些框架会使用到零拷贝呢？在思考这个问题之前，让我们先一起探寻一下零拷贝机制的底层原理。
相信不少的网友，在很多的博客文章里面，已经见到过零拷贝这个词，会不禁的发出一些疑问，什么是零拷贝？
在计算机操作系统中，所谓的I/O就是 输入（Input）和输出（Output），也可以理解为读（Read）和写（Write)，针对不同的对象，I/O模式可以划分为磁盘IO模型和网络IO模型。
我相信大部分人看到这些名词，都是一头雾水的，如果你去搜索引擎搜索，那么恭喜你，你又会被各种文章中的高大上的名词搞得云里雾里。那么，我们应该怎么理清这么名词之间的关系呢？
tar是“tape archive”(磁带存档)的简称，它出现在还没有软盘驱动器、硬盘和 光盘驱动器的计算机早期阶段，随着时间的推移， tar命令逐渐变为一个将很多文件进行存档的工具，目前许多用于Linux操作系统的程序就是打包为tar档案文件的形式。 在Linux里面，tar一般和其他没有文件管理的压缩算法文件结合使用，用tar打包整个文件目录结构成一个文件，再用gz，bzip等压缩算法压缩成一次。也是Linux常见的压缩归档的处理方法
1.linux系统中一切皆文件当有文件 当有一个请求过来的時候就通过3次握手就会和内核创建连接关系，此时Tomcat中的启动的的端口监控就会检测到内核中的文件标识符 fd 此时由linux提供的API socket就会应用程序通过accept()去监控到对应的文件，然后启用线程read（fd）去获取socket的文件流。应用程序读根据文件标识符去读取文件流的过程也就是IO
原文:https://blog.csdn.net/AI_ELF/article/details/122547439
零拷贝是老生常谈的问题啦，大厂非常喜欢问。比如Kafka为什么快，RocketMQ为什么快等，都涉及到零拷贝知识点。最近技术讨论群几个伙伴分享了阿里、虾皮的面试真题，也都涉及到零拷贝。因此本文将跟大家一起来学习零拷贝原理。
1.空文件也要在磁盘占据空间 2.文件 = 内容 + 属性 3.文件操作 = 对内容 + 对属性 4.标定一个文件，必须使用文件路径 + 文件名（唯一性） 5.如果没有指明对应的文件路径，默认是在当前路径进行访问 6.当我们把fopen,fclose,fread,fwrite等接口写完之后，代码编译之后，形成二进制可执行程序之后，但是没运行，文件对应的操作有没有被执行呢？没有 —— 对文件操作的本质是进程对文件的操作。 7.一个文件如果没被打开，可以直接进行文件访问吗？？不能！一个文件要被访问，就必须先被打开！（被打开的时候是用户调用端口，操作系统负责操控硬件，所以这个操作是用户进程和操作系统共同完成的） 8.磁盘的文件不是所有的都被打开，是一部分被打开，一部分关闭。 总结：文件操作的本质是进程和被打开文件之间的关系。
IO 其实就是 Input 和 Output，在操作系统中就对应数据流的输入与输出。这个数据流的两端，可以是文件，也可以是网络的一台主机。但无论是文件，还是网络主机，其传输都是类似的，我们今天就以源头为文件进行说明。
很多的小伙伴，被java IO 模型，搞得有点儿晕，一会儿是4种模型，一会儿又变成了5种模型。
Java里面的IO模型种类较多，主要包括BIO，NIO和AIO，每个IO模型都有不一样的地方，那么这些IO模型是如何演变呢，底层的原理又是怎样的呢？ 本文我们就来聊聊。
引言 传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘 I/O 的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。 零拷贝（ zero-copy ）技术可以有效地改善数据传输的性能，在内核驱动程序（比如网络堆栈或者磁盘存储驱动程序）处理 I/O 数据的时候，零拷贝技术可以在某种程度上减少甚至完全避免不必要 CPU 数据拷贝操作。
操作系统是软件，软件运行在内存中。运行在内存中的操作系统由两部分组成：用户空间，内核空间；
从基础讲起，IO的原理和模型是隐藏在编程知识底下的，是开发人员必须掌握的基础原理，是基础的基础，更是通关大厂面试的必备知识。
User space（用户空间）和 Kernel space（内核空间）。Linux里面这么设计的目的主要是为了安全，即使用户空间崩溃了，内核也不受影响。所以在Linux世界，进程不能直接访问硬件设备，当进程需要访问硬件设备(比如读取磁盘文件，接收网络数据等等)时，必须由用户态模式切换至内核态模式，通过系统调用访问硬件设备。
Linux环境编程对于初学者来说，必须深刻理解重点概念才能更好地编写代码，实现业务功能，下面就几个重要的及常用的知识点进行说明。搞懂这几个概念后以免在将来的编码出现混淆。 系统调用 ❝所有的操作系统在其内核里都有一些内建的函数，这些函数可以用来完成一些系统级别的功能。在Linux系统使用的这样的函数叫做“系统调用”，英文是systemcall。这些函数代表了从用户空间到内核空间的一种转换。 ❞ 系统调用是Linux操作系统提供的服务，是编写应用程序与内核之间通信的接口，也就是我们所说的函数。相对于普通的函数
通过前面的文章我们已经了解了「数据包从HTTP层->TCP层->IP层->网卡->互联网->目的地服务器」以及「数据包怎么从网线到进程，在被应用程序使用」涉及的知识。 本文将继续介绍网络编程中的各种细节和IO多路复用的原理。
传统IO的工作方式是，数据读取和写入是从用户空间和内核空间来回复制，内核空间的数据时通过操作系统层面的IO接口从磁盘读取或写入。
在 Linux 系统中，传统的访问方式是通过 write() 和 read() 两个系统调用实现的，通过 read() 函数读取文件到到缓存区中，然后通过 write() 方法把缓存中的数据输出到网络端口。
UNIX/Linux 的缔造者们将数据的 来源和目标 都抽象为 文件，所以在 UNIX/Linux 系统中 一切皆文件
接下来我们会学习一个 Netty 系列教程，Netty 系列由「架构与原理」，「源码」，「架构」三部分组成，今天我们先来看看第一部分：Netty 架构与原理初探，大纲如下：
前几期的分享，我们站在编码视角去聊 Java IO，旨在理解与编码，本次从 Linux 操作系统层面了解一下 IO 模型，这样方能做到知其然，知其所以然。
当调用一次 channel.read 或 stream.read 后，会切换至操作系统内核态来完成真正数据读取，而读取又分为两个阶段，分别为：
IO，即Input/Output，指的是程序从外部设备或者网络读取数据到用户态内存/从用户态内存写数据到外部设备或者网络的过程。
最近在研究 JAVA NIO 的相关知识，学习NIO，就不能提到IO的原理和事项，必经NIO是基于IO进化而来
在一个web系统中从一个文件中读出数据并将数据传输到网络上另一程序的场景，有两种方式：
从本篇开始回顾总结Netty通信框架，尝试为读者揭开它的神秘面纱。Flink内部节点之间的通信是用Akka，比如JobManager和TaskManager之间的通信。而operator之间的数据传输是利用Netty。
Linux的文件IO子系统是Linux中最复杂的一个子系统（没有之一）。读者可以参考以下这个图：
感觉目前看到介绍 io_uring 的文章还是比较少，大部分都集中在对其原理性的介绍和简单的对官方文档的翻译，真正结合实际的例子还是比较少。本文翻译整理自一篇博客：
磁盘IO是非常缓慢的，Linux内核为了减少磁盘的IO次数，在系统调用后，会把用户数据拷贝到内核缓存起来，这个内核缓存空间称之为页缓存。
Linux系统是虚拟内存系统，虚拟内存并不是真正的物理内存，而是虚拟的连续内存地址空间。虚拟内存又分为内核空间和用户空间，内核空间是内核程序运行的地方，用户空间是用户进程代码运行的地方，只有内核才能直接访问物理内存并为用户空间映射物理内存(MMU)。内核会为每个进程分配独立的连续的虚拟内存空间，并且在需要的时候映射物理内存，为了完成内存映射，内核为每个进程都维护了一张页表，记录虚拟地址与物理地址的映射关系，这个页表就是存在于MMU中；用户进程访问内存的时候，通过页表把虚拟内存地址转换为物理内存地址进而访问数据；其实对于用户进程而言，虚拟内存就是内存一般的存在(当作内存看待就好)。这样的设计可以把用户程序和系统程序分开，互不影响；内核可以对所有的用户程序进行管理，比如限制内存滥用等
我们平常总会在下载东西或者安装软件的时候看到进度条，这里我们就在linux下实现这个进度条的功能。
这里我们使用术语“缓冲”(一般为buffer)来表示对数据写的暂存，使用术语“缓存”(一般为cache)来表示对数据读的暂存。顾名思义，由于底层存储设备和内存之间速率的差异，缓冲是用来暂“缓”对底层存储设备IO的“冲”击。缓存主要是在内存中暂“存”从磁盘读到的数据，以便接下来对这些数据的访问不用再次访问慢速的底层存储设备。
DMA 的全称叫直接存储器访问（Direct Memory Access），是一种允许外围设备（硬件子系统）直接访问系统主内存的机制。
最近在读一本<<软件架构设计:大型网站技术架构与业务融合之道>>,它就像是把你平时一点点积累的知识有条理且有深度的整合。一步一步的将读者断断续续的知识接起来。以下文章是记录书本中的一些知识并加以拓展。
Flink的内存管理是基于JVM内存模型的，所以，在内存调优或者解决各种OOM等问题时JVM内存管理是绕不开的话题。本文以Direct Memory为切入点，探索堆外内存、直接内存、以及他们在Java NIO源码中如何体现的。最后，简单介绍Java NIO的零拷贝在Kafka和Netty中的应用。
在这个连接的生命周期里，绝大部分时间都是空闲的，活跃时间（发送数据和接收数据的时间）占比极少，这样独占一个服务器是严重的资源浪费。事实上所有的服务器都是高并发的，可以同时为成千上万个客户端提供服务，这一技术又被称为IO复用。
1. 如果没有fork创建子进程的步骤，无论是运行进程还是将运行结果重定向到log.txt文件，两者输出结果都是相同的，均为4条打印信息
IO模型是编程语言和软件开发中重要的知识。本篇从IO模型这个切入点横向梳理了从操作系统到应用层IO模型相关知识。考虑到技术本身具有横向迁移的特点，也可以帮助大家在宏观与微观，具体与细节，底层与应用多角度串联技术，本篇是第一篇从IO模型说起。
Linux内核将所有的外部设备当做一个文件来操作，对文件的读写操作会调用内核的系统命令，返回一个文件描述符（file descriptor，fd）。而对socket的读写也有相应的描述符，称为socketfd。描述符就是一个数字，指向内存中的一个结构体（文件路径或者数据区等）
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
