1.概述 在实际工作中会经常遇到一些bug，有些就需要用到文件句柄，文件描述符等概念，比如报错： too many open files, 如果你对相关知识一无所知，那么debug起来将会异常痛苦。在Linux操作系统中，文件句柄（包括Socket句柄）、打开文件、文件指针、文件描述符的概念比较绕，而且windows的文件句柄又与此有何关联和区别？这一系列的问题是我们不得不面对的。 这里先笼统的将一下自己对上面的问题的一些理解： 句柄，熟悉Windows编程的人知道：句柄是Windows用来标识被应用程序
IO就是输入输出，这个输入输出的对象是针对主存来说的，往主存上复制数据就是输入，从主存上往外部设备上复制就是输出。这些外部设备包括磁盘驱动器，终端和网络等。对于Unix系统来说，一切都被抽象成文件，对于IO操作，实际上就是对文件进行操作。
上一次我们说到了文件的常规操作，打开，读，写，关闭这些，重点在于打开是以什么样的方式来打开，包括文件的权限，内容是否清空，打开不存在的文件等等情形。今天继续说一下文件IO操作。
在 Linux 中，最直观、最可见的部分就是 文件系统(file system)。下面我们就来一起探讨一下关于 Linux 中国的文件系统，系统调用以及文件系统实现背后的原理和思想。这些思想中有一些来源于 MULTICS，现在已经被 Windows 等其他操作系统使用。Linux 的设计理念就是 小的就是好的(Small is Beautiful) 。虽然 Linux 只是使用了最简单的机制和少量的系统调用，但是 Linux 却提供了强大而优雅的文件系统。
输入输出(input/output)的对象可以是文件(file)， 网络(socket)，进程之间的管道(pipe)。在linux系统中，都用文件描述符(fd)来表示。
当应用程序请求打开或者操作文件时,操作系统为应用程序设置一张文件列表,具体的实现形式此处不深入说明
本篇是高性能、高并发系列的第三篇，承接上文《读取文件时程序经历了什么》，在讲解了进程、线程以及I/O后，我们来到了高并发中又一关键技术，即I/O多路复用。
Linux有Linux kernal，我们的客户端，进行连接，首先到达的是Linux kernal，在Linux的早期版本，只有read和write进行文件读写。我们使用一个线程/进程 进行调用read和write函数，那么将会返回一个文件描述符fd(file description)。我们开启线程/进程去调用read进行读取。因为socket在这个时期是blocking（阻塞的），遇到高并发，就会阻塞，也就是bio时期。
C 是 Client 单词首字母缩写，10K 指 1 万，C10K 指单机同时处理 1 万个并发连接问题。
作为即时通讯技术的开发者来说，高性能、高并发相关的技术概念早就了然与胸，什么线程池、零拷贝、多路复用、事件驱动、epoll等等名词信手拈来，又或许你对具有这些技术特征的技术框架比如：Java的Netty、Php的workman、Go的nget等熟练掌握。但真正到了面视或者技术实践过程中遇到无法释怀的疑惑时，方知自已所掌握的不过是皮毛。
某套应用，部署在Linux下的中间件上，在某个时刻开始报警，从日志看是无法获取JDBC连接，
欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。
转载请注明出处：帘卷西风的专栏(http://blog.csdn.net/ljxfblog)
epoll是一种I/O事件通知机制，是linux 内核实现IO多路复用的一个实现。IO多路复用是指，在一个操作里同时监听多个输入输出源，在其中一个或多个输入输出源可用的时候返回，然后对其的进行读写操作。 epoll有两种工作方式， LT-水平触发 和ET-边缘触发(默认工作方式),主要区别是： LT，内核通知你fd是否就绪，如果没有处理，则会持续通知。而ET，内核只通知一次。 什么是I/O？ 输入输出(input/output)的对象可以是文件(file)， 网络(socket)，进程之间的管道(pipe)。在linux系统中，都用文件描述符(fd)来表示。 什么是事件？ IO中涉及到的行为，建立连接、读操作、写操作等抽象出一个概念，就是事件，在jdk中用类SelectionKey.java来表示，例如：可读事件，当文件描述符关联的内核读缓冲区可读，则触发可读事件（可读：内核缓冲区非空，有数据可以读取）；可写事件，当文件描述符关联的内核写缓冲区可写，则触发可写事件（可写：内核缓冲区不满，有空闲空间可以写入）。 什么是通知机制？ 通知机制，就是当事件发生的时候，则主动通知。通知机制的反面，就是轮询机制。
本文研究的主要是Linux中文件描述符fd与文件指针FILE*互相转换的相关内容，具体介绍如下。
Linux文件操作 Linux中，一切皆文件(网络设备除外)。 硬件设备也“是”文件，通过文件来使用设备。 目录(文件夹)也是一种文件。 Linux文件的结构 📷 root:该目录为系统管理员(也称作超级管理员)的用户主目录。 bin:bin是Binary的缩写，这个目录存放着最经常使用的命令。 boot:这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件和镜像文件。 deb:deb是Device(设备)的缩写，该目录下存放的是Linux的外部设备，在Linu
要想客户端和服务器能在网络中通信，那必须得使用 Socket 编程，它是进程间通信里比较特别的方式，特别之处在于它是可以跨主机间通信。
----今天接着昨天的话题讲，在昨天的文章里面，我们讲到了文件共享有三种实现方式，其中一种实现方式就是我们今天要讲的dup和dup2函数来实现了；那么咋们也就不废话 了，直接直奔主题吧。
说到进程，恐怕面试中最常见的问题就是线程和进程的关系了，那么先说一下答案：在 Linux 系统中，进程和线程几乎没有区别。
这次，我们以最简单 socket 网络模型，一步一步的过度到 I/O 多路复用。
在Linux系统中一切皆可以看成是文件，文件又可分为：普通文件、目录文件、链接文件和设备文件。 文件描述符（file descriptor）是内核为了高效管理已被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的文件，所有执行I/O操作的系统调用都通过文件描述符。 程序刚刚启动的时候，0是标准输入，1是标准输出，2是标准错误。如果此时去打开一个新的文件，它的文件描述符会是3。POSIX标准要求每次打开文件时（含socket）必须使用当前进程中最小可用的文件描述符号码，因此，在网络通信过程中稍不注意就有可能造成串话。标准文件描述符图如下：
打算给我们部门弄个内部分享。发现大家对一些底层知识的认知停留在一句一句的，比如听说JVM使用-XX:-UseBiasedLocking取消偏向锁可以提高性能，因为它只适用于非多线程高并发应用。使用数字对象的缓存-XX:AutoBoxCacheMax=20000比默认缓存-128~127要提高性能。对于JVM和linux内核，操作系统没有系统的概念，遇到实际问题往往没有思路。所以我的内部分享，主要分为linux部分，jvm部分和redis部分。这篇是linux篇。学习思路为主，知识为辅。我也是菜鸟一枚~~
这篇文章读不懂的没关系，可以先收藏一下。笔者准备介绍完epoll和NIO等知识点，然后写一篇Java网络IO模型的介绍，这样可以使Java网络IO的知识体系更加地完整和严谨。初学者也可以等看完IO模型介绍的博客之后，再回头看这些博客，会更加有收获。
作为一名合格的程序猿/媛，对于进程、线程还是有必要了解一点的，本文将从下面几个方向进行梳理，尽量做到知其然并知其所以然：
1.lsof简介 lsof（list open files）是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件的本质如何，该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因为应用程序打开文件的描述符列表提供了大量关于这个应用程序本身的信息，因此通过lsof工具能够查看这个列表对
不同于传统的“一个进程处理一个客户端请求”的方式，IO复用可以让一个进程处理多个客户端的请求，更加节省资源。
写Java的朋友一定对上面的命令很熟悉，相信大部分人都知道>表示的是重定向，那么什么是重定向？2>&1又是什么意思？
文件锁是用于解决资源的共享使用的一种机制：当多个用户需要共享一个文件时，Linux通常采用的方法是给文件上锁，来避免共享的资源产生竞争的状态。
3.系统级别。当打开文件并设置了O_APPEND标识，内核会共享文件写入游标，保证内容不会被覆盖。
缓存是一种将数据存储在高速缓存中的技术，它可以提高应用程序的性能和响应速度。以下是一些使用缓存的原因：
操作系统的任务是在多个程序之间共享一台计算机，并提供比硬件本身支持的更有用的服务。操作系统管理和抽象底层硬件,例如:
本文介绍了Linux系统下共享内存的概念、实现方法以及相关的应用，包括共享内存的读写、同步和调试等方面。
epoll是一种事件轮询，是Linux特有的。它允许一个进程监视多个文件描述符，并在对它们进行I/O操作时获取通知。它允许边缘触发和级别触发通知。在我们研究epoll的内部之前，首先让我们研究一下语法。
笔者将《unix环境高级编程》主要内容总结为三篇：文件篇，进程篇，高级io和进程间通信三大板块。本文是unix环境高级编程系列文章第一篇：文件篇。该篇主要包括：
在Linux操作系统中，一切皆是文件—— "Everything is a file"。
操作系统内核提供 read(系统调用)，读文件描述符 一个client连接就是一个文件描述符fd socket为阻塞的，socket产生的文件描述符，如左边的fd8，当数据包没到的时候，上面左边read不能返回，阻塞着。 即有一个client连接，就需要开一个进程(或者线程)，读这个连接，有数据就处理，没数据就阻塞着。
虽然计算机相关专业，操作系统和计算机组成原理是必修课。但是大学时和真正从事相关专业工作之后，对于知识的认知自然会发生变化。还很有可能，一辈子呆在学校的老师们只是照本宣科，自己的理解也不深。所以今天我站在真正排查解决问题时的需要层面，用白话说一说linux操作系统的那些知识。
哈哈，反正我在面试时候经常会问候选人这个问题，这个问题其实是对redis内部机制的一个考察，可以牵扯出好多涉及底层深入原理的一些列问题。
操作系统接口 操作系统的任务是让多个程序共享计算机（资源），并且提供一系列基于计算机硬件的但更有用的服务。操作系统管理并且把底层的硬件抽象出来，举例来说，一个文字处理软件（例如word）不需要关心计算机使用的是哪种类型的磁盘。操作系统使得硬件可以多路复用，允许许多程序共同使用计算机并且在同一时间上运行。最后，操作系统为程序间的互动提供受控的方法，因此多个程序可以共享数据、协同工作。 计算机操作系统通过接口向用户程序提供服务。设计一个好的接口是一件困难的事情。一方面，我们希望设计出来的接口足够简单且功能单一（
epoll是一种事件轮询，是Linux特有的。它允许一个进程监视多个文件描述符，并在对它们进行I/O操作时获取通知。它允许边缘触发和级别触发通知。在我们研究epoll的内部之前，首先让我们研究一下语法。
在Linux系统中，fd命令是一条用于显示文件描述符（File Descriptor）的命令。文件描述符是操作系统用于跟踪和管理打开文件的整数值，它是对打开文件的引用。通过fd命令，我们可以查看当前进程所打开的文件描述符及其相关信息，包括文件描述符的编号、打开模式、文件路径等。
在Linux世界中，clone()系统调用通过复制调用进程创建一个新进程。新进程称为子进程，原始进程称为父进程。clone()系统调用有几个选项，允许我们控制父进程和子进程之间资源的共享。其中一个重要的选项是Cloneflags。
常见的多路复用实现所依赖的系统调用方法包括select(),poll(),epoll(). 不同的平台, 具体的系统调用方法也不同.
有一定编程基础的小伙伴应该都接触过文件编程吧，file. 在C语言里面是包一个<file.h>的头
Linux的核心思想之一就是”一切皆文件”。即Linux中所有的内容都是以文件的形式保存和管理的，它为不同类型的文件提供了统一的操作接口，对于不同类型的文件，我们都可以使用fopen()/fclose()/fwrite()/fread()等对这些文件进行读写处理。在Linux中，普通文件、目录、链接文件、字符设备、块设备以及网络套接字等等都以文件的形式存在。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
