1.概述 在实际工作中会经常遇到一些bug，有些就需要用到文件句柄，文件描述符等概念，比如报错： too many open files, 如果你对相关知识一无所知，那么debug起来将会异常痛苦。在Linux操作系统中，文件句柄（包括Socket句柄）、打开文件、文件指针、文件描述符的概念比较绕，而且windows的文件句柄又与此有何关联和区别？这一系列的问题是我们不得不面对的。 这里先笼统的将一下自己对上面的问题的一些理解： 句柄，熟悉Windows编程的人知道：句柄是Windows用来标识被应用程序
1.进程级的文件描述符表 2.系统级的打开文件描述符表 3.文件系统的i-node表
在Linux系统中一切皆可以看成是文件，文件又可分为：普通文件、目录文件、链接文件和设备文件。 文件描述符（file descriptor）是内核为了高效管理已被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的文件，所有执行I/O操作的系统调用都通过文件描述符。 程序刚刚启动的时候，0是标准输入，1是标准输出，2是标准错误。如果此时去打开一个新的文件，它的文件描述符会是3。POSIX标准要求每次打开文件时（含socket）必须使用当前进程中最小可用的文件描述符号码，因此，在网络通信过程中稍不注意就有可能造成串话。标准文件描述符图如下：
fd 是(file descriptor)即文件描述符，这种一般是BSD Socket的用法，用在Unix/Linux系统上。fd全称是file descriptor,是进程独有的文件描述符表的索引。
当应用程序请求打开或者操作文件时,操作系统为应用程序设置一张文件列表,具体的实现形式此处不深入说明
欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。
I/O模型主要包括：阻塞IO、非阻塞IO、I/O 多路复用、异步I/O和信号I/O;
Redis的高性能和他的事件模型是密不可分的，最大程度上利用了单线程、非阻塞IO模型来快速的处理请求（单线程处理多链接）。这里存在一个问题，其实严格意义上来讲，Redis 是单线程对外提供服务，redis内部并不单线程的，还存在一些关于数据持久化的线程。
虽然计算机相关专业，操作系统和计算机组成原理是必修课。但是大学时和真正从事相关专业工作之后，对于知识的认知自然会发生变化。还很有可能，一辈子呆在学校的老师们只是照本宣科，自己的理解也不深。所以今天我站在真正排查解决问题时的需要层面，用白话说一说linux操作系统的那些知识。
select函数监控3类文件描述符，调用select函数后会阻塞，直到描述符fd准备就绪（有数据可读、可写、异常）或者超时，函数便返回。 当select函数返回后，可通过遍历描述符集合，找到就绪的描述符。
文件句柄（File Handle）是操作系统中用于访问文件的一种数据结构，通常是一个整数或指针。文件句柄用于标识打开的文件，每个打开的文件都有一个唯一的文件句柄。
对于nginx的惊群问题，我们首先需要理解的是，在nginx启动过程中，master进程会监听配置文件中指定的各个端口，然后master进程就会调用fork()方法创建各个子进程，根据进程的工作原理，子进程是会继承父进程的全部内存数据以及监听的端口的，也就是说worker进程在启动之后也是会监听各个端口的。关于惊群，指的就是当客户端有新建连接的请求到来时，就会触发各个worker进程的连接建立事件，但是只有一个worker进程能够正常处理该事件，而其他的worker进程会发现事件已经失效，从而重新循环进入等待状态。这种由于一个事件而“惊”起了所有worker进程的现象就是惊群问题。很明显，如果所有的worker进程都被触发了，那么这将消耗大量的资源，本文则主要讲解nginx是如何处理惊群问题的。
Linux将所有内核对象当做文件来处理，系统用一个size_t类型来表示一个文件对象，比如对于文件描述符0就表示系统的标准输入设备STDIN，通常情况下STDIN的值为键盘，如read命令就默认从STDIN读取数据，当然STDIN的值是可以改变的，比如将其改成其他文件，这样的话想read等命令就会默认从相应的文件读取数据了。
nginx系列之一：nginx入门 nginx系列之二：配置文件解读 nginx系列之三：日志配置 nginx系列之四：web服务器 nginx系列之五： 负载均衡 nginx系列之六：cache服务 nginx系列之七：限流配置 nginx系列之八：使用upsync模块实现负载均衡
epoll简介 epoll 是Linux内核中的一种可扩展IO事件处理机制，最早在 Linux 2.5.44内核中引入，可被用于代替POSIX select 和 poll 系统调用，并且在具有大量应用程序请求时能够获得较好的性能（ 此时被监视的文件描述符数目非常大，与旧的 select 和 poll 系统调用完成操作所需 O(n) 不同， epoll能在O(1)时间内完成操作，所以性能相当高），epoll 与 FreeBSD的kqueue类似，都向用户空间提供了自己的文件描述符来进行操作。 [cpp]
select、poll 和 epoll 都是 Linux API 提供的 IO 复用方式。
张乐奕 云和恩墨副总经理，Oracle ACE总监，ACOUG 联合创始人 没有删除过数据库的DBA职业生涯是不完整的，删除过数据库还能幸存的DBA一定是订阅了“Oracle”公众号。 昨晚有朋友在微信群中求助讨论，误删除了一个MySQL的数据库，整个恢复过程和以下文章中提到的步骤完全相同，只要MySQL主进程还没有退出，从文件句柄中可以恢复文件最终挽回损失。类似的lsof找到那些被标记为Deleted的文件（以下是参考示意图）。 让我们完整的再复习一下这篇文章的步骤，一定要记住这种方法： 今天有
当程序进行IO时，如果数据尚未准备好，那么IO将处于阻塞状态。当某个进程有多个打开的文件，比如socket，那么其后的所有准备好读写的文件将受到阻塞的影响而不能操作。不借助线程，单一进程无法在同一时间服务多个文件描述符。非阻挡式IO可以作为一个解决方案，但是效率并不高。首先进程需要不断发IO请求，其次，如果程序可以休眠，让出CPU将提高效率。多任务式IO是在其中任何一个文件描述符就绪时收到通知，此时IO将不会受到阻挡，其余时间处于休眠状态，将CPU资源让给别的进程。
IO 多路复用是 Linux 并发处理的一种技术，epoll 是目前常用的一种方式。
epoll的监控原理：异步阻塞操作 监控由系统完成，用户添加的描述符以及对应事件结构体会被添加到内核的eventpoll结构体中的红黑树中 一旦发起调用开始监控，则操作系统为每个操作符的事件做了一个回调函数，功能室当描述符就绪了关心的事件，则将描述符对应的事件结构体添加到双向链表中 进程自身，只是每隔一段时间，判断双向链表是否为NULL，决定是否有就绪 4.进程遍历获取evs中就绪的事件结构体信息，针对其中的events就绪时间对data.fd进行相应操作
Linux平台上传统的I/O复用模型有select和poll模型，但二者在解决大量并发请示时却表现不佳。与select/poll相比，epoll的优点体现在以下三个方面：
Nginx因为它的稳定性、丰富的模块库、灵活的配置和低系统资源的消耗而闻名．业界一致认为它是Apache2.2＋mod_proxy_balancer的轻量级代替者，不仅是因为响应静态页面的速度非常快，而且它的模块数量达到Apache的近2/3。对proxy和rewrite模块的支持很彻底，还支持mod_fcgi、ssl、vhosts ，适合用来做mongrel clusters的前端HTTP响应。 nginx和Apache一样使用模块化设计，nginx模块包括内置模块和第三方模块，其中内置模块中包含主模块和事件模块。
epoll是一种I/O事件通知机制，是linux 内核实现IO多路复用的一个实现。IO多路复用是指，在一个操作里同时监听多个输入输出源，在其中一个或多个输入输出源可用的时候返回，然后对其的进行读写操作。 epoll有两种工作方式， LT-水平触发 和ET-边缘触发(默认工作方式),主要区别是： LT，内核通知你fd是否就绪，如果没有处理，则会持续通知。而ET，内核只通知一次。 什么是I/O？ 输入输出(input/output)的对象可以是文件(file)， 网络(socket)，进程之间的管道(pipe)。在linux系统中，都用文件描述符(fd)来表示。 什么是事件？ IO中涉及到的行为，建立连接、读操作、写操作等抽象出一个概念，就是事件，在jdk中用类SelectionKey.java来表示，例如：可读事件，当文件描述符关联的内核读缓冲区可读，则触发可读事件（可读：内核缓冲区非空，有数据可以读取）；可写事件，当文件描述符关联的内核写缓冲区可写，则触发可写事件（可写：内核缓冲区不满，有空闲空间可以写入）。 什么是通知机制？ 通知机制，就是当事件发生的时候，则主动通知。通知机制的反面，就是轮询机制。
resource proc_open ( string $cmd , array $descriptorspec , array &$pipes [, string$cwd [, array $env [, array $other_options ]]] )
什么是epoll epoll是什么？按照man手册的说法：是为处理大批量句柄而作了改进的poll。当然，这不是2.6内核才有的，它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)，它几乎具备了之前所说的一切优点，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。 epoll的相关系统调用 epoll只有epoll_create,epoll_ctl,epoll_wait 3个系统调用。 1. int ep
I/O 多路复用技术是为了解决进程或线程阻塞到某个 I/O 系统调用而出现的技术，使进程不阻塞于某个特定的 I/O 系统调用。
转载请注明出处：帘卷西风的专栏(http://blog.csdn.net/ljxfblog)
在linux 没有实现epoll事件驱动机制之前，我们一般选择用select或者poll等IO多路复用的方法来实现并发服务程序。在linux新的内核中，有了一种替换它的机制，就是epoll。
IO复用是串行的a有问题处理a的，但是a的问题要处理10个小时b就得等待10个小时
在 Linux 系统中，一切都看成文件，当进程打开现有文件时，会返回一个文件描述符。
命令格式： 命令1 | 命令2，有一定的编程思想在里面 命令1的正确输出作为命令2的操作对象，和逻辑与不一样
open函数是我们开发中经常会遇到的，这个函数是对文件设备的打开操作，这个函数会返回一个句柄fd，我们通过这个句柄fd对设备文件读写操作。
多路转接是IO模型的一种，这种IO模型通过select、poll或者epoll进行IO等待，可以同时等待多个文件描述符，当某个文件描述符的事件就绪，便会通知上层处理对应的事件。
上网一搜epoll，基本是这样的结果出来：《多路转接I/O – epoll模型》，万变不离这个标题。 但是呢，不变的事物，我们就更应该抓出其中的重点了。 多路、转接、I/O、模型。 别急，先记住这几个词，我比较喜欢你们看我文章的时候带着问题。
=============== 1.文件IO ====================
首先，需要调用epoll_create来创建一个epoll的文件描述符，内核会同时创建一个eventpoll的数据结构。这个数据结构里面会包含两个东西，一个是红黑树，专门用于存储epoll_ctl注册进来的fd文件描述符；另外一个是就绪链表，用来存储epoll_wait调用相关的，已经就绪的那些fd文件描述符。
1.文件描述符 ---- linux下的文件描述符是一个用于表述指向文件的引用的抽象化概念(在windows下是HANDLE句柄). 文件描述符在形式上是一个非负整数值.但实际上,他是一个索引值,指向系统内核为每个进程维护的一张记录表. 在这张记录表上记录每个进程打开的文件对应的文件结构体信息. 那么也就是说,文件描述符不存在事件这一说法,文件描述符本身不会产生事件,但文件描述符对应的文件可能会因为modify而产生事件. 这些事件是怎么产生的,由谁产生的,怎样让epoll捕捉到此事件.都是系统在对事
Linux的核心思想之一就是”一切皆文件”。即Linux中所有的内容都是以文件的形式保存和管理的，它为不同类型的文件提供了统一的操作接口，对于不同类型的文件，我们都可以使用fopen()/fclose()/fwrite()/fread()等对这些文件进行读写处理。在Linux中，普通文件、目录、链接文件、字符设备、块设备以及网络套接字等等都以文件的形式存在。
说明：第一个数表示当前系统已分配的文件描述符数（文件句柄数），第二个数为分配后已释放的文件描述符数（当前不再使用的文件描述符数），第三个数为最大文件描述符数，等于file-max。
阻塞操作是指在执行设备操作时，若不能获得资源，则挂起进程直到满足可操作的条件后再进行操作。被挂起的进程进入睡眠状态，被从调度器的运行队列移走，直到等待的条件被满足。而非阻塞操作的进程在不能进行设备操作时，并不挂起，它要么放弃，要么不停地查询，直至可以进行操作为止。
1. 网络中进程之间如何通信 进程通信的概念最初来源于单机系统。由于每个进程都在自己的地址范围内运行，为保证两个相互通信的进程之间既互不干扰又协调一致工作，操作系统为进程通信提供了相应设施，如UNIX BSD有：管道（pipe）、命名管道（named pipe）软中断信号（signal） UNIX system V有：消息（message）、共享存储区（shared memory）和信号量（semaphore)等. 他们都仅限于用在本机进程之间通信。网间进程通信要解决的是不同主机进程间的相互通信问题（可把
I/O多路复用，I/O就是指的我们网络I/O,多路指多个TCP连接(或多个Channel)，复用指复用一个或少量线程。串起来理解就是很多个网络I/O复用一个或少量的线程来处理这些连接。
上一篇文章中，谈了一些网络编程的基本概念。在现实使用中，用的最多的就是I/O复用了，无非就是select,poll,epoll 很多人提到网络就说epoll,认为epoll效率是最高的。单纯的这么认为，其实有失偏颇。epoll固然高效，可是它是怎么做到高效的，它到底比select或poll优异在哪儿？ 我们通过调用流程来简单分析下。 首先以select为例（poll类似），看下其调用过程 1.选择想要处理的套接字，通过接口FD_SET(fd, &set)加入到set中; 2.调用select(max+1,
网上说什么的也有，你抄我的我抄你的，也是醉了，故自己综合查阅的资料，根据自己的理解和判断以及部分的实践整理下吧，也不敢保证都是对的，如果有比较大的错误，希望看到这篇文章的你提出来，大家共同进步！
在 Linux 平台上运行的进程都会从系统资源申请一定数量的句柄，而且系统控制了进程能够申请的最大句柄数量。用户程序如果不及时释放无用的句柄，将会引起句柄泄露，从而可能造成申请资源失败，导致系统文件句柄用光连接不能建立。本文主要介绍Linux下如何查看和修改进程打开的文件句柄数，避免这类问题的发生。
不同于传统的“一个进程处理一个客户端请求”的方式，IO复用可以让一个进程处理多个客户端的请求，更加节省资源。
输入输出(input/output)的对象可以是文件(file)， 网络(socket)，进程之间的管道(pipe)。在linux系统中，都用文件描述符(fd)来表示。
在这个连接的生命周期里，绝大部分时间都是空闲的，活跃时间（发送数据和接收数据的时间）占比极少，这样独占一个服务器是严重的资源浪费。事实上所有的服务器都是高并发的，可以同时为成千上万个客户端提供服务，这一技术又被称为IO复用。
通常来说，实现处理tcp请求，为一个连接一个线程，在高并发的场景，这种多线程模型与Epoll相比就显得相形见绌了。epoll是linux2.6内核的一个新的系统调用，epoll在设计之初，就是为了替代select, poll线性复杂度的模型，epoll的时间复杂度为O(1), 也就意味着，epoll在高并发场景，随着文件描述符的增长，有良好的可扩展性。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
