linux 网络编程 I/O复用 select,poll ,epoll

http://blog.csdn.net/zs634134578/article/details/19929449

问题聚焦:

    前篇提到了I/O处理单元的四种I/O模型。

    本篇详细介绍实现这些I/O模型所用到的相关技术。

    核心思想:I/O复用


使用情景:

  • 客户端程序要同时处理多个socket
  • 客户端程序要同时处理用户输入和网络连接
  • TCP服务器要同时处理监听socket和连接socket,这是使用最多的场合
  • 服务器要同时可处理TCP请求和UDP请求
  • 服务器要同时监听多个端口

主要技术:

  • select
  • poll
  • epoll

select系统调用

作用:

    在一段指定时间内,监听用户感兴趣的文件描述符的可读、可写和异常等事件。

select API

原型:

[cpp] view plaincopy

  1. #include <sys/select.h>
  2. int select ( int nfds, fd_set* readfds, fde_set* writefds, fd_set* exceptfds, struct timeval* timeout );  

函数说明:

nfds:指定被监听的文件描述符的总数,通常为所有文件描述符中的最大值+1

readfds, writefds, exceptfds:可读、可写和异常等事件对应的文件描述符集合。

fd_set结构:仅包含一个整型数组,该数组的每个元素的每一位标记了一个文件描述符。fd_set能容纳的文件描述符数量由FD_SETSIZE指定,这就限制了select能同时处理的文件描述符的总量。

fd_set相关的位操作:

[cpp] view plaincopy

  1. #include <sys/select.h>
  2. FD_ZERO( fd_set *fdset );  
  3. FD_SET( int fd, fd_set *fdset );  
  4. FD_CLR( int fd, fd_set *fdset );  
  5. int FD_ISSET( int fd, fd_set *fdset );  

timeout:设置select函数的超时时间

返回状态:

select成功时返回就绪(可读、可写和异常)文件描述符的总数。

如果在超时时间内没有任何文件描述符就绪,select将返回0.

select失败时返回-1并设置errno

如果select 等待期间,程序接收到信号,则select立即返回-1,并设置errno为EINTR。

文件描述符就绪条件

可读:

  • socket内核接收缓冲区中的字节数大于或等于其低水位标记SO_RCVLOWAT。此时我们可以无阻塞地对该socket,并且读操作返回的字节数大于0
  • socket通信的对方关闭连接,此时读操作返回0
  • 监听socket上有新的连接请求
  • socekt上有未处理的错误,此时我们可以使用getsockopt来读取和清除该错误。

可写:

  • socket内核发送缓冲区中的可用字节数大于或等于其低水位标记SO_SNDLOWAT。此时我们可以无阻塞地写该socket,并且写操作返回的字节数大于0
  • socket的写操作被关闭。对写操作被关闭的socket执行写操作将出发一个SIGPIPE信号
  • socket使用非阻塞connect连接成功或者失败之后
  • socket上有未处理的错误,此时我们可以使用getsockopt来读取和清除该错误。

异常:

  • socket上接收到带外数据

处理带外数据

socket上接收到普通数据和带外数据都将使select返回,但socket处于不同的就绪状态:前者处于可读状态,后者处于异常状态。

[cpp] view plaincopy

  1. #include <sys/types.h>
  2. #include <sys/socket.h>
  3. #include <netinet/in.h>
  4. #include <arpa/inet.h>
  5. #include <assert.h>
  6. #include <stdio.h>
  7. #include <unistd.h>
  8. #include <errno.h>
  9. #include <string.h>
  10. #include <fcntl.h>
  11. #include <stdlib.h>
  12. int main( int argc, char* argv[] )  
  13. {  
  14. if( argc <= 2 )  
  15.         {  
  16.             printf( "usage: %s ip_address port_number\n", basename( argv[0] ) );  
  17. return 1;      
  18.         }  
  19. const char* ip = argv[1];  
  20. int port = atoi( argv[2] );  
  21.         printf( "ip is %s and port is %d\n", ip, port );  
  22. int ret = 0;  
  23. struct sockaddr_in address;  
  24.         bzero( &address, sizeof( address ) );  
  25.         address.sin_family = AF_INET;  
  26.         inet_pton( AF_INET, ip, &address.sin_addr );  
  27.         address.sin_port = htons( port );  
  28. int listenfd = socket( PF_INET, SOCK_STREAM, 0 );  
  29.         assert( listenfd >= 0 );  
  30.         ret = bind( listenfd, ( struct sockaddr* )&address, sizeof( address ) );  
  31.         assert( ret != -1 );  
  32.         ret = listen( listenfd, 5 );  
  33.         assert( ret != -1 );  
  34. struct sockaddr_in client_address;  
  35.         socklen_t client_addrlength = sizeof( client_address );  
  36. int connfd = accept( listenfd, ( struct sockaddr* )&client_address, &client_addrlength );  
  37. if ( connfd < 0 )  
  38.         {  
  39.              printf( "errno is: %d\n", errno );  
  40.              close( listenfd );  
  41.         }  
  42. char remote_addr[INET_ADDRSTRLEN];  
  43.         printf( "connected with ip: %s and port: %d\n",  
  44.                  inet_ntop( AF_INET, &client_address.sin_addr, remote_addr, INET_ADDRSTRLEN ),   
  45.                 ntohs( client_address.sin_port ) );  
  46. char buf[1024];  
  47.         fd_set read_fds;  
  48.         fd_set exception_fds;  
  49.         FD_ZERO( &read_fds );  
  50.         FD_ZERO( &exception_fds );  
  51. int nReuseAddr = 1;  
  52.         setsockopt( connfd, SOL_SOCKET, SO_OOBINLINE, &nReuseAddr, sizeof( nReuseAddr ) );  
  53. while( 1 )  
  54.         {  
  55.             memset( buf, '\0', sizeof( buf ) );     
  56. /* 每次调用select前都要重新在readfds和exception_fds中设置文件描述符connfd,因为事件发生之后,文件描述符集合将被内核修改 */
  57.             FD_SET( connfd, &read_fds );  
  58.             FD_SET( connfd, &exception_fds );  
  59.             ret = select( connfd + 1, &read_fds, NULL, &exception_fds, NULL );  
  60.             printf( "select one\n" );  
  61. if ( ret < 0 )  
  62.             {  
  63.                  printf( "selection failure\n" );  
  64. break;  
  65.             }  
  66. /* 对于可读事件,采用普通的recv函数读取数据 */
  67. if ( FD_ISSET( connfd, &read_fds ) )  
  68.             {  
  69.                 ret = recv( connfd, buf, sizeof( buf )-1, 0 );  
  70. if( ret <= 0 )  
  71.                 {  
  72. break;  
  73.                 }  
  74.                 printf( "get %d bytes of normal data: %s\n", ret, buf );  
  75.             }  
  76. /* 对于异常事件,采用带MSG_OOB标志的recv函数读取带外数据 */
  77. else if( FD_ISSET( connfd, &exception_fds ) )  
  78.             {  
  79.                 ret = recv( connfd, buf, sizeof( buf )-1, MSG_OOB );  
  80. if( ret <= 0 )  
  81.                 {  
  82. break;  
  83.                 }  
  84.                 printf( "get %d bytes of oob data: %s\n", ret, buf );  
  85.              }  
  86.         }  
  87.  close( connfd );  
  88.  close( listenfd );  
  89. return 0;  
  90. }  

poll系统调用

作用:和select类型,也是在指定时间内轮询一定数量的文件描述符,以测试其中是否有就绪者。

原型:

[cpp] view plaincopy

  1. #include <poll.h>
  2. int poll ( struct pollfd* fds, nfds_t nfds, int timeout );  

函数说明:

fds:指定我们所感兴趣的文件描述符上发生的可读,可写和异常事件。

pllfd结构:

[cpp] view plaincopy

  1. struct pollfd  
  2. {  
  3. int fd;                /* 文件描述符 */
  4. short events;    /* 注册的事件 */
  5. short revents;    /* 实际发生的事件,由内核填充 */
  6. }  

支持的事件类型:(自行百度)

返回值:通常,应用程序需要根据recv调用的返回值来区分socket上接收到的是有效数据还是对方关闭连接的请求,并做相应的处理。poll系统调用的返回值的含义与select相同。

nfds:指定被监听事件集合fds的大小。

类型nfds_t定义:

[cpp] view plaincopy

  1. typedef unsigned long int nfds_t;  

timeout:指定poll的超时值,单位是毫秒。当timeout为-1时,poll调用将永远阻塞,直到某个事件发生。当timeout为0时,poll调用将立即返回。


epoll系列系统调用

特点:

    一组函数完成任务

    epoll把用户关心的文件描述符上的事件放在内核里的一个事件表中,从而无须像select和poll那样每次调用都要重复传入文件描述符集或事件集。

    需要一个额外的文件描述来唯一标识内核中的这个事件表。

文件描述符的创建:

[cpp] view plaincopy

  1. #include <sys/epoll.h>
  2. int epoll_create ( int size );  

该函数返回的文件描述符将用作其他所有epoll系统调用的第一个参数,以指定要访问的内核事件表。

操作内核事件表:

[cpp] view plaincopy

  1. #include <sys/epoll.h>
  2. int epoll_ctl ( int epfd, int op, int fd, struct epoll_event *event );  

函数说明:

fd:要操作的文件描述符

op:指定操作类型

操作类型:

    EPOLL_CTL_ADD:往事件表中注册fd上的事件

    EPOLL_CTL_MOD:修改fd上的注册事件

    EPOLL_CTL_DEL:删除fd上的注册事件

event:指定事件,它是epoll_event结构指针类型

epoll_event定义:

[cpp] view plaincopy

  1. struct epoll_event  
  2. {  
  3.     __unit32_t events;    /* epoll事件 */
  4.     epoll_data_t data;    /* 用户数据 */
  5. };  

结构体说明:

events:描述事件类型,和poll支持的事件类型基本相同(两个额外的事件:EPOLLET和EPOLLONESHOT,高效运作的关键)

data成员:存储用户数据

[cpp] view plaincopy

  1. typedef union epoll_data  
  2. {  
  3. void* ptr;              /* 指定与fd相关的用户数据 */
  4. int fd;                   /* 指定事件所从属的目标文件描述符 */
  5.     uint32_t u32;  
  6.     uint64_t u64;  
  7. } epoll_data_t;  

epoll_wait函数

主要接口

作用:在一段时间内,等待一组文件描述符上的事件

原型:

[cpp] view plaincopy

  1. #include <sys/epoll.h>
  2. int epoll_wait ( int epfd, struct epoll_event* events, int maxevents, int timeout );  

函数说明:

返回:成功时返回就绪的文件描述符的个数,失败时返回-1并设置errno

timeout:与poll相同

maxevents:指定最多监听多少个事件

events:检测到事件,将所有就绪的事件从内核事件表中复制到它的第二个参数events指向的数组中。与poll的区别(见下面的demo)

poll和epoll在使用上的差别:

[cpp] view plaincopy

  1. /* 索引poll返回的就绪文件描述符 */
  2. /* 方式:遍历,检查标志位 */
  3. int ret = poll ( fds, MAX_EVENT_NUMBER, -1 );  
  4. for ( int i = 0; i < MAX_EVENT_NUMBER; ++i )  
  5. {  
  6. if ( fds[i].revents & POLLIN )  
  7.     {  
  8. int sockfd = fds[i].fd;  
  9. /* 处理sockfd */
  10.     }  
  11. }  
  12. /*  索引epoll返回的就绪文件描述符 */
  13. /* 方式:遍历 */
  14. int ret = epoll_wait ( epollfd, events, MAX_EVENT_NUMBER, -1 );  
  15. for ( int i = 0; i < ret; i++ )  
  16. {  
  17. int sockfd = events[i].data.fd;  
  18. /* sockfd必然就绪,直接处理 */
  19. }  

LT和ET模式

对文件操作符的操作模式:

  • LT:电平触发,默认的工作模式,检测到有事件发生可以不立即处理。
  • ET:边沿触发,搞笑工作模式,文件描述符注册为EPOLLET事件,检测到有事件发生立即处理,后续epoll_wait不再向应用程序通知这一事件。

区别:ET模式在很大程度上降低了同一个epoll事件被重复出发的参数,因此效率要比LT模式高。

EPOLLONESHOT事件

使用场合:

    一个线程在读取完某个socket上的数据后开始处理这些数据,而数据的处理过程中该socket又有新数据可读,此时另外一个线程被唤醒来读取这些新的数据。

    于是,就出现了两个线程同时操作一个socket的局面。

    可以使用epoll的EPOLLONESHOT事件实现一个socket连接在任一时刻都被一个线程处理。

作用:

    对于注册了EPOLLONESHOT事件的文件描述符,操作系统最多出发其上注册的一个可读,可写或异常事件,且只能触发一次。

使用:

    注册了EPOLLONESHOT事件的socket一旦被某个线程处理完毕,该线程就应该立即重置这个socket上的EPOLLONESHOT事件,以确保这个socket下一次可读时,其EPOLLIN事件能被触发,进而让其他工作线程有机会继续处理这个sockt。

效果:

尽管一个socket在不同事件可能被不同的线程处理,但同一时刻肯定只有一个线程在为它服务,这就保证了连接的完整性,从而避免了很多可能的竞态条件。


小结:三组I/O复用函数的比较

系统调用

select

poll

epoll

事件集合

用哦过户通过3个参数分别传入感兴趣的可读,可写及异常等事件 内核通过对这些参数的在线修改来反馈其中的就绪事件 这使得用户每次调用select都要重置这3个参数

统一处理所有事件类型,因此只需要一个事件集参数。 用户通过pollfd.events传入感兴趣的事件,内核通过 修改pollfd.revents反馈其中就绪的事件

内核通过一个事件表直接管理用户感兴趣的所有事件。 因此每次调用epoll_wait时,无需反复传入用户感兴趣 的事件。epoll_wait系统调用的参数events仅用来反馈就绪的事件

应用程序索引就绪文件 描述符的时间复杂度

O(n)

O(n)

O(1)

最大支持文件描述符数

一般有最大值限制

65535

65535

工作模式

LT

LT

支持ET高效模式

内核实现和工作效率

采用轮许方式检测就绪事件 时间复杂度:O(n)

采用轮许方式检测就绪事件 时间复杂度:O(n)

采用回调方式检测就绪事件 事件复杂度:O(1)

需要说明的是:

epoll的效率未必一定比select和poll高。

当活动连接比较多的时候,回调函数被触发得过于频繁,而降低效率。

所以,epoll_wait适用于连接数量多,但活动连接较少的情况。


参考资料:

《Linux高性能服务器编程》

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏前端杂货铺

高吞吐koa日志中间件

Midlog中间件 node服务端开发中少不了日志打点,而在koa框架下的日志打点在多进程环境中日志信息往往无法对应上下文,而且在高并发下直接进行写buffer...

597100
来自专栏极客猴

Django 学习笔记之视图与URL配置

本文章是自己学习 Django 框架的第三篇。前面两篇文章主要记录 Django 理论相关知识。从本篇文章开始,将以理论和实战方式讲述 Django 框架的知识...

10820
来自专栏散尽浮华

通过shell脚本自动清理超过指定大小的文件

由于线上业务用的squid,根据经验值如果长时间运行则缓存目录下的swap.state会慢慢变大,一旦超过60M,squid的性能就会急剧下降,因此需要定时去清...

38900
来自专栏数据和云

innodb实例损坏情况下恢复数据及相关工具的开发

作者介绍:谢浩,现任职于云和恩墨(北京)信息技术有限公司,具有多年oracle数据库企业级运维经验,擅长结合业务、硬件系统制定各种项目方案,具有丰富mysql相...

35280
来自专栏hbbliyong

前端axios下载excel,并解决axios返回header无法获取所有数据的问题

需求:通过后端接口下载excel文件,后端没有文件地址,返回二进制流文件 实现:axios(ajax类似) 主要代码: axios:设置返回数据格式为blo...

95050
来自专栏哲学驱动设计

BaaS API 设计规范

上个月写了一个团队中的 BaaS API 的设计规范,给大家分享下: 目录 1. 引言... 4 1.1. 概要... 4 1.2. 参考资料... 4 1...

269100
来自专栏IT派

Python 的异步 IO:Asyncio 简介

所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知。

13930
来自专栏Linux驱动

22.Linux-块设备驱动之框架详细分析(详解)

本节目的:     通过分析块设备驱动的框架,知道如何来写驱动 1.之前我们学的都是字符设备驱动,先来回忆一下 字符设备驱动: 当我们的应用层读写(read()...

47650
来自专栏抠抠空间

Django之auth模块(用户认证)

auth模块简介 auth模块是对登录认证方法的一种封装,之前我们获取用户输入的用户名及密码后需要自己从user表里查询有没有用户名和密码符合的对象, 而有了a...

49650
来自专栏开发与安全

linux网络编程之socket(八):五种I/O模型和select函数简介

一、五种I/O模型 1、阻塞I/O ? 我们在前面所说的I/O模型都是阻塞I/O,即调用recv系统调用,如果没有数据则阻塞等待,当数据到来则将数据从内核空间(...

29600

扫码关注云+社区

领取腾讯云代金券