专栏首页我是攻城师理解Linux里面的IO模型

理解Linux里面的IO模型

前言

在谈到IO模型之前,我们先来了解下Liunx里面的几个概念:

User space(用户空间)和 Kernel space(内核空间)。Linux里面这么设计的目的主要是为了安全,即使用户空间崩溃了,内核也不受影响。所以在Linux世界,进程不能直接访问硬件设备,当进程需要访问硬件设备(比如读取磁盘文件,接收网络数据等等)时,必须由用户态模式切换至内核态模式,通过系统调用访问硬件设备。

此外还要理解阻塞,非阻塞,同步,异步这几个概念,这里不再详细介绍,我之前的文章中非常详细的介绍过。

说下目前Liunx的5种IO模型:

blocking IO - 阻塞IO

nonblocking IO - 非阻塞IO

IO multiplexing - IO多路复用

signal-driven IO - 信号驱动式IO(异步阻塞)

asynchronous IO - 异步IO

其中前面三种都可以归纳为同步IO,最后一种为异步IO,在linux里面一次io操作会涉及两个系统对象:用户进程,内核空间。其中用户进程发起io的读写操作后,数据会先被拷贝到操作系统内核的缓冲区中,然后才会从操作系统内核的缓冲区拷贝到应用程序的地址空间。所以说当一个read操作发生后,它会经历两个阶段:

第一阶段:等待数据准备 (Waiting for the data to be ready)。.

第二阶段:将数据从内核拷贝到进程中 (Copying the data from the kernel to the process)。

对于socket流而言:

第一步:通常涉及等待网络上的数据分组到达,然后被复制到内核的某个缓冲区.

第二步:把数据从内核缓冲区复制到应用进程缓冲区。

同步阻塞IO

同步阻塞 IO 模型是最常用的一个模型,也是最简单的模型。在linux中,默认情况下所有的socket都是blocking。它符合人们最常见的思考逻辑。

在这个IO模型中,用户空间的应用程序执行一个系统调用(recvform),这会导致应用程序阻塞,什么也不干,直到数据准备好,并且将数据从内核复制到用户进程,最后进程再处理数据,在等待数据到处理数据的两个阶段,整个进程都被阻塞。不能处理别的网络IO。直到kernel返回结果,用户进程才解除block的状态,重新运行起来。

可以看出来,这两个阶段都block住了。

同步非阻塞IO

在这种模式下,用户进程发出请求后,并不会阻塞,内核会里面返回一个error状态,然后用户进程需要轮询不断的check状态,在轮询期间可以干点别的事,最终直到内核把数据准备好了,然后通知用户进程,把数据从内核空间拷贝到用户所在的进程进行处理。

IO多路复用 multiplexing

IO多路复用,指的是由转门的一个进程负责轮询检查IO操作的状态,而不用每个用户进程都得自己负责轮询,这样就大大节省了线程资源。那么这就是所谓的 “IO 多路复用”。UNIX/Linux 下的 select、poll、epoll 就是干这个的(epoll 比 poll、select 效率高,做的事情是一样的)

。它的基本原理就是select,poll,epoll这个function会不断的轮询所负责的所有socket,当某个socket有数据到达了,就通知用户进程。

当用户进程调用了select,那么整个进程会被block,而同时,kernel会“监视”所有select负责的socket,当任何一个socket中的数据准备好了,select就会返回。这个时候用户进程再调用read操作,将数据从kernel拷贝到用户进程。 多路复用的特点是通过一种机制一个进程能同时等待IO文件描述符,内核监视这些文件描述符(套接字描述符),其中的任意一个进入读就绪状态,select, poll,epoll函数就可以返回

信号驱动IO

信号驱动式I/O:首先我们允许Socket进行信号驱动IO,并安装一个信号处理函数,进程继续运行并不阻塞。当数据准备好时,进程会收到一个SIGIO信号,可以在信号处理函数中调用I/O操作函数处理数据

异步非阻塞IO

相对于同步IO,异步IO不是顺序执行。用户进程进行aio_read系统调用之后,无论内核数据是否准备好,都会直接返回给用户进程,然后用户态进程可以去做别的事情。等到socket数据准备好了,内核直接复制数据给进程,然后从内核向进程发送通知。IO两个阶段,进程都是非阻塞的。

Linux提供了AIO库函数实现异步,但是用的很少。目前有很多开源的异步IO库,例如libevent、libev、libuv。异步过程如下图所示:

总结

各个IO模型的比较图如下:

通过上面的图片,可以发现non-blocking IO和asynchronous IO的区别还是很明显的。在non-blocking IO中,虽然进程大部分时间都不会被block,但是它仍然要求进程去主动的check,并且当数据准备完成以后,也需要进程主动的再次调用recvfrom来将数据拷贝到用户内存。而asynchronous IO则完全不同。它就像是用户进程将整个IO操作交给了他人(kernel)完成,然后他人做完后发信号通知。在此期间,用户进程不需要去检查IO操作的状态,也不需要主动的去拷贝数据。

本文分享自微信公众号 - 我是攻城师(woshigcs),作者:攻城师在路上

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-09-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 各种IO复用模式之select,poll,epoll,kqueue,iocp分析

    上篇文章,我们介绍了Java IO框架的演变,其实编程语言的IO实现是依赖于底层的操作系统,如果OS内核不支持,那么语言层面也无能为力。任何一个跨平台的编程语言...

    我是攻城师
  • 关于Java的BIO,NIO和AIO的演进

    Java里面的IO模型种类较多,主要包括BIO,NIO和AIO,每个IO模型都有不一样的地方,那么这些IO模型是如何演变呢,底层的原理又是怎样的呢? 本文我们就...

    我是攻城师
  • 理解Java7和8里面HashMap+ConcurrentHashMap的扩容策略

    (2)在(1)的基础上,理解ConcurrentHashMap的并发安全的设计和实现思路

    我是攻城师
  • Linux中IO多路复用机制

    之前的面试有问到主线程在 ActivityThread 里初始化 Looper 后调用了 Looper.loop() 这个死循环为什么不会阻塞主线程,当时回答因...

    萬物並作吾以觀復
  • Java|网络IO之同步、异步、阻塞、非阻塞

    黄小怪
  • 再聊服务化基石:也有IO的事儿

    用户1682855
  • python并发编程

    py3study
  • Linux IO 概念(2)

    在上一篇IO底层的概念中杂合了很多模糊的概念,受知识水平的限制,只是从网上抄了很多过来.从linux一切皆文件的设计哲学,介绍了文件描述符,从进...

    用户3033338
  • Java网络编程和NIO详解3:IO模型与Java网络编程模型

    本系列文章将整理到我在GitHub上的《Java面试指南》仓库,更多精彩内容请到我的仓库里查看

    Java技术江湖
  • Web APP编程模型和IO策略

    现代大型高性能网站诸如淘宝,京东,微博,FB,知乎等等,网站架构涉及很多知识。像业务分层,软件分割模块化,分布式部署,集群服务器,负载均衡等技术可以帮助架构师将...

    小小科

扫码关注云+社区

领取腾讯云代金券