上一篇文章 主要分析了 Linux 原生 AIO 的原理和使用，而这篇要介绍的是 Linux 原生 AIO 的实现过程。 所以，我们可以通过分析这三个函数的实现来理解 Linux 原生 AIO 的实现。 Linux 原生 AIO 实现在源码文件 /fs/aio.c 中。 创建异步 IO 上下文 要使用 Linux 原生 AIO，首先需要创建一个异步 IO 上下文，在内核中，异步 IO 上下文使用 kioctx 结构表示，定义如下： struct kioctx { 总结 本文主要分析了 Linux 原生 AIO 的实现，但为了不陷入太多的实现细节中，本文并没有涉及到磁盘 IO 相关的知识点。 然而磁盘 IO 也是 AIO 实现中不可或缺的一部分，所以有兴趣的朋友可以继续通过阅读 Linux 的源码来分析其实现原理。
所以本文也附带介绍了Linux 2.6及以后版本新增的AIO特性（因为这跟Java AIO是对应关系）。 JDK7中的java aio新增的类和接口主要有： AsynchronousServerSocketChannel ，对应于bio中的ServerSocket和nio中的ServerSocketChannel 除了CompletionHandler这种回调方式，aio中还支持返回Future对象，使用Future来设定回调操作。 Linux AIO 1Linux AIO 简介 Linux 异步 I/O 是 Linux 内核中提供的一个相当新的增强。 2Linux 的 I/O 模型 在深入介绍 AIO API 之前，让我们先来探索一下 Linux 上可以使用的不同 I/O 模型。
开学季邀新，赢腾讯内推实习机会
Linux 原生 AIO 原理 Linux Native AIO 是 Linux 支持的原生 AIO，为什么要加原生这个词呢？ 本文主要介绍 Linux 原生 AIO 的原理和使用，所以不会对其他第三方的异步 IO 库进行分析，下面我们先来介绍 Linux 原生 AIO 的原理。 如 图2 所示： ? Linux 原生 AIO 处理流程： 当应用程序调用 io_submit 系统调用发起一个异步 IO 操作后，会向内核的 IO 任务队列中添加一个 IO 任务，并且返回成功。 内核会在后台处理 IO 任务队列中的 IO 任务，然后把处理结果存储在 IO 任务中。 总结 本文主要介绍了 Linux 原生 AIO 的原理和使用，Linux 原生 AIO 的使用比较简单，但其内部实现比较复杂，在下篇文章中将会介绍 Linux 原生 AIO 的实现。
Linus：啥玩意儿，不是已经有 aio 了么，为啥又来一套，你咋不去好好修 aio 的问题。aio 还有 balabala 问题没有修呢。 …… 背景 Linus 和 Jens 在讨论的，就是 Linux Kernel 即将在 5.1 版本加入一个重大 feature：io_uring。 SQ 和 CQ 中每个节点保存的都是 SQEs 数组的偏移量，而不是实际的请求，实际的请求只保存在 SQEs 数组中。这样在提交请求时，就可以批量提交一组 SQEs 上不连续的请求。 当然，不可否认，aio 也在与时俱进。自从 kernel 2.5 进入 upstream 以来，aio 一直都没有实现完整。 参考 lore.kernel.org/linux-b lwn.net/ml/linux-fsdeve git.kernel.dk/cgit/fio/ lore.kernel.org/linux-b lwn.net
以上的两组概念可以两两组合，就组合了我们熟悉的BIO、NIO、AIO。 3. BIO方式适用于连接数目比较小且固定的架构，这种方式对服务端资源要求比较高，并发局限于应用中，在jdk1.4以前是唯一的io现在，但程序直观简单易理解。 4. NIO方式适用于连接数目多且连接比较短（轻操作）的架构，比如聊天服务器，并发局限于应用中，编程比较复杂，jdk1,4开始支持。 Buffer中的数据被读取后不会消失（区别于Stream）。 5. AIO：我在厕所外做别的事，等有人来通知我了我再去占坑。
之所以不叫Cached IO，是因为早年Linux的磁盘iOS设计中在Page Cache 里还有一个内部的”内核buffer“。在Linux 2.6之后，这个设计被统一到了只使用Page。 正如第一篇文章所说，在Linux中，磁盘IO不支持NON_BLOCKING模式。但是Linux提供了磁盘的异步IO接口（Asynchronous IO，AIO）。 所以，对于POSIX AIO大家看看就好。Linux下实际使用比较多的是Linux AIO。 Linux AIO Linux中的另外一套AIO接口被称为Linux AIO，是Linux在内核实现的一套AIO接口。这套是"真・AIO"。接口的详细用法可以参考这里。 Linux提供了eventfd解决这个问题。 使用eventfd协调epoll和Linux AIO 如果在Linux下编写一个高性能文件服务器，就需要同时用到epoll和Linux AIO。
16.BIO、NIO、AIO 有什么区别？ BIO：Block IO 同步阻塞式 IO，就是我们平常使用的传统 IO，它的特点是模式简单使用方便，并发处理能力低。 AIO：Asynchronous IO 是 NIO 的升级，也叫 NIO2，实现了异步非堵塞 IO ，异步 IO 的操作基于事件和回调机制。
Java 中的 BIO、NIO和 AIO 理解为是 Java 语言对操作系统的各种 IO 模型的封装。 在讲 BIO,NIO,AIO 之前先来回顾一下这样几个概念：同步与异步，阻塞与非阻塞。 同步与异步 同步： 同步就是发起一个调用后，被调用者未处理完请求之前，调用不返回。 举个生活中简单的例子，你妈妈让你烧水，小时候你比较笨啊，在那里傻等着水开（同步阻塞）。等你稍微再长大一点，你知道每次烧水的空隙可以去干点其他事，然后只需要时不时来看看水开了没有（同步非阻塞）。 在 Java 虚拟机中，线程是宝贵的资源，线程的创建和销毁成本很高，除此之外，线程的切换成本也是很高的。 尤其在 Linux 这样的操作系统中，线程本质上就是一个进程，创建和销毁线程都是重量级的系统函数。
1. linux AIO — libaio 实现的异步 IO POSIX AIO 是在用户控件模拟异步 IO 的功能，不需要内核支持，而 linux AIO 则是 linux 内核原声支持的异步 IO 关于 linux IO 模型及 AIO、POSIX AIO 的简介，请参看上一篇文章 libaio 实现的异步 IO 主要包含以下接口： libaio 实现的异步 IO 函数 功能 原型 io_setup 等于 aio_ring_info 中的 user_id unsigned nr; // 等于 aio_ring_info 中的 nr unsigned head; // 与 POSIX AIO 区别 从上图中的流程就可以看出，linux 版本的 AIO 与 POSIX 版本的 AIO 最大的不同在于 linux 版本的 AIO 实际上利用了 CPU 和 IO 设备异步工作的特性 POSIX AIO 支持非 direct-io，而且实现非常灵活，可配置性很高，可以利用内核提供的page cache来提高效率，而 linux 内核实现的 AIO 就只支持 direct-io，cache
而AIO，在windows上是通过IOCP实现的，在linux上还是通过epoll来实现的。 这里强调一点：AIO，这是I/O处理模式，而epoll等都是实现AIO的一种编程模型；换句话说，AIO是一种接口标准，各家操作系统可以实现也可以不实现。 Linux上还没有真正实现网络方式的AIO。 在linux上，AIO的实现是通过epoll来完成的，看JDK源码，可以发现，实现源码是： UnixAsynchronousSocketChannelImpl 看实现接口： implements Port.PollableChannel 这是与windows最大的区别，poll的实现，在linux2.6后，默认使用epoll。
Linux认为： 对于第一种情况，算作block，因为Linux无法知道网络上对方是否会发数据。如果没数据发过来，对于调用read的程序来说，就只能“等”。 在有些文档中写的是会返回EWOULDBLOCK。 多个数据流共享同一个TCP连接的场景的确是有，比如Http2 Multiplexing就是指Http2通讯中中多个逻辑的数据流共享同一个TCP连接。但这与IO多路复用是完全不同的问题。 因为大部分情况下我会用Linux做服务器，所以下文以Linux epoll为例子来解释多路复用是怎么工作的。 用epoll实现的IO多路复用 epoll是Linux下的IO多路复用的实现。 但是网络IO处理仅仅是整个数据处理中的一部分。如果你留意到上文例子中的“处理事件”代码，就会发现这里可能是有问题的。
AIO(NIO.2)：异步非阻塞式IO，服务器实现模式为一个有效请求一个线程，客户端的I/O请求都是由OS先完成了再通知服务器应用去启动线程进行处理。
IO通常分为几种，BIO（阻塞 Blocking IO）、NIO（非阻塞 Non-Blocking IO）、AIO（异步非阻塞）。 NIO NIO本身是基于事件驱动思想来完成的，其主要想解决的是BIO的大并发问题：在使用同步I/O的网络应用中，如果要同时处理多个客户端请求，就必须使用多线程来处理。 AIO AIO没有前两者普及，暂不讨论！
这也就引来一个很大的问题，当请求越多，服务器端的启用线程也要越多，我们都知道linux(window)的文件句柄数有是限的，默认是1024，当然可以修改，上限好像是65536 (一个柄也相当于一个socket 也相当于一个thread，linux查看文件句柄Unlimit -a)。 通道分两类，一：网络读写（selectableChannel)，另一类是文件操作(FileChannel)，我们常用的是上面例子中的网络读写! 所以出现AIO。 如果你理解了Java NIO ,下面讲的netty也是水到渠成的事,只想说,深水区已过了! 差点忘记还要补下AIO的,这个比NIO先进的技术,最终实现了netty。 、AIO适用场景
---- 下面分析下 阻塞I/O、NIO、AIO的数据处理流程 阻塞I/O 数据处理流程 ? 然后从channel中读取数据做响应的处理。这样一个线程就可以处理多个请求，程序只需要处理已经就行的channel就ok了。 3.AIO 数据处理流程 ? AIO 实现原理 程序调用AIO的accept方法并传入Completionhandler，该方法是非阻塞方法。 等数据准备完成后回调Completionhandler处理响应操作。 程序只需要把具体的操作告知AIO就可以了，具体操作AIO来帮助你来操作。 NIO 和 AIO 性能上对比 AIO在性能上相对于NIO没有本质的提升。 AIO只是帮助你从内核中将数据复制到用户空间中，并调用你传入的回调方法。 NIO 是需要程序自己从内核中将数据复制到用户空间中，并需要程序自己调用相应的处理逻辑。 ----
回忆一下 我们都知道Linux的IO模型有阻塞、非阻塞、SIGIO、多路复用(select，epoll)、AIO（异步I/O）等。 数据库可能比较倾向于使用AIO。 而AIO则是不管三七二十一，直接发IO请求，但是并不等待这个请求的结束，让Linux后台自己去完成读写。我们来看一个典型的AIO编程案例： ? 上面的代码中，io_getevents()的代码与io_submit()的代码摆在一起，但是其实它们并不需要一定是同一个线程。 AIO和传统epoll()的本质区别是，epoll()等方式，它只是一个事件获取机制，获取事件后，之后的read(), write()还是要走Linux的传统路线，经过Linux内核本身的各个层次（如page Linux native的AIO本身call的函数，本身就是系统调用。strace执行AIO动作的进程得到的直接就是类似如下的结果： strace .
本文内容涉及同步与异步, 阻塞与非阻塞, BIO、NIO、AIO等概念, 这块内容本身比较复杂, 很难用三言两语说明白. 而书上的定义更不容易理解是什么意思. 下面跟着我一起解开它们神秘的面纱。 BIO 传统的socket编程，属于同步阻塞模型 NIO 官方(new io) jdk1.4推出 俗称(non-block io) ，属于同步非阻塞模式 AIO 又称NIO2.0在jdk1.7推出 阻塞模式使用就像传统中的支持一样，比较简单，但是性能和可靠性都不好；非阻塞模式正好与之相反。 在NIO库中，所有数据都是用缓冲区处理的。在读取数据时，它是直接读到缓冲区中的；在写入数据时，也是写入到缓冲区中。任何时候访问NIO中的数据，都是通过缓冲区进行操作。 3、AIO编程 NIO 2.0引入了新的异步通道的概念，并提供了异步文件通道和异步套接字通道的实现。 异步的套接字通道时真正的异步非阻塞I/O，对应于UNIX网络编程中的事件驱动I/O（AIO）。
Netty并非横空出世，它是在BIO，NIO，AIO演变中的产物，是一种NIO框架。而BIO，NIO，AIO更是笔试中要考，面试中要问的技术。也是一个很好的加分项，加分就是加工资，你还在等什么？ Netty或者是AIO。 AIO 也叫NIO2.0 是一种非阻塞异步的通信模式。 小结：AIO模型中通过AsynchronousSocketChannel和AsynchronousServerSocketChannel完成套接字通道的实现。非阻塞，异步。 3 AIO模型中通过AsynchronousSocketChannel和AsynchronousServerSocketChannel完成套接字通道实现。非阻塞，异步。
项目地址：https://github.com/windwant/windwant-demo/tree/master/io-service Server： package org.windwant.io.aio IOException { new Thread(new AIOServer(8989, 19)).start(); } } Client： package org.windwant.aio } }); } } 2017-12-11 改造client: AsynchronousChannelGroup package org.windwant.io.aio
腾讯服务器操作系统(TencentOS Server，TS)是腾讯云推出的Linux操作系统，它旨在为云上运行的应用程序提供稳定、安全和高性能的执行环境。它可以运行在腾讯云CVM全规格实例上，包括黑石2.0服务器。
扫码关注腾讯云开发者
领取腾讯云代金券
云服务器
测试服务 WeTest
文件存储
命令行工具
SSL 证书
