在开发 socket 应用程序时，首要任务通常是确保可靠性并满足一些特定的需求。利用本文中给出的 4 个提示，您就可以从头开始为实现最佳性能来设计并开发 socket 程序。本文内容包括对于 Sockets API 的使用、两个可以提高性能的 socket 选项以及 GNU/Linux 优化。
接触过网络开发的人，大抵都知道，上层应用使用send函数发送数据，使用recv来接收数据，而send和recv的实现原理又是怎样的呢？
参数释义： sock：网络文件描述符 level：选项所在协议层。 如果想要在套接字层面上进行配置，则将此项设置为SOL_SOCKET。 optname：需要访问的选项名 （后面会有）（取决于level） optval：对于getsockopt()，指向返回选项值的缓冲。对于setsockopt()，指向包含新选项值的缓冲。 optlen：对于getsockopt()，作为入口参数时，选项值的最大长度。作为出口参数时，选项值的实际长度。对于setsockopt()，现选项的长度。
我们以用户通过网络读取一个本地磁盘上文件为例，在说零拷贝之前，我们先要说说一个普通的IO操作是怎样做的
摘要 关于epoll的问题很早就像写文章讲讲自己的看法，但是由于ffrpc一直没有完工，所以也就拖下来了。Epoll主要在服务器编程中使用，本文主要探讨服务器程序中epoll的使用技巧。Epoll一般和异步io结合使用，故本文讨论基于以下应用场合： 主要讨论服务器程序中epoll的使用，主要涉及tcp socket的相关api。 Tcp socket 为异步模式，包括socket的异步读写，以及监听的异步操作。 本文不会过多讨论API的细节，而是专注流程与设计。 Epoll 的io模型 Epol
int setsockopt( SOCKET s, int level, int optname, const char* optval, int optlen );
零拷贝（Zero-Copy）是一个大家耳熟能详的概念，那么，具体有哪些框架会使用到零拷贝呢？在思考这个问题之前，让我们先一起探寻一下零拷贝机制的底层原理。
Flink的内存管理是基于JVM内存模型的，所以，在内存调优或者解决各种OOM等问题时JVM内存管理是绕不开的话题。本文以Direct Memory为切入点，探索堆外内存、直接内存、以及他们在Java NIO源码中如何体现的。最后，简单介绍Java NIO的零拷贝在Kafka和Netty中的应用。
在之前的文章中分别详细讲解网络IO模型以及IO复用模型技术实现的本质,关于epoll的技术分析,发现存在部分知识点不够严谨且也有些混乱,即epoll技术在linux底层内核源码实现中暂时没有看到有使用虚拟内存分配的技术实现,因此对此知识点持有怀疑但保留网络上的技术资料观点;其次关于epoll技术实现上,正是通过使用中间层的设计思想来解决本身select/poll无法扩展的局限性,同时借助分散的设计思想来解决select/poll存在的性能,最后我们会关注与epoll相关的其他高级轮询技术以及在早期中C10K问题是如何解决的,同时互联网技术发展至今,又出现C10M问题,解决思路有哪些可以借鉴的.
零拷贝作用 : 在网络编程中 , 如果要进行性能优化 , 肯定要涉及到零拷贝 , 使用零拷贝能极大的提升数据传输性能 ;
此前的文章中，我们介绍了 tcp 协议的基本概念和连接的建立与终止 最后，我们介绍了“经受时延的确认”，这是一种将 ACK 包与下一条数据包合并发送的策略，这样可以尽量减少发往网络的报文，以提高传输的效率，节省网络资源。 除此之外，TCP 还有很多其他算法和策略用来优化网络的使用。
struct sockaddr ：很多网络编程函数的出现早于IPV4协议，为了向前兼容，现在sockaddr都退化成（void *）结构了。 传递一个地址给函数，然后由函数内部再强制类型转换为所需的地址类型。
引言 传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的，即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输。这样做最大的好处是可以减少磁盘 I/O 的操作，因为如果所请求的数据已经存放在操作系统的高速缓冲存储器中，那么就不需要再进行实际的物理磁盘 I/O 操作。但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销，限制了操作系统有效进行数据传输操作的能力。 零拷贝（ zero-copy ）技术可以有效地改善数据传输的性能，在内核驱动程序（比如网络堆栈或者磁盘存储驱动程序）处理 I/O 数据的时候，零拷贝技术可以在某种程度上减少甚至完全避免不必要 CPU 数据拷贝操作。
该文介绍了muduo库的EventLoop、Buffer、EventLoopThread等基本概念，以及其网络编程模型。通过示例阐述了muduo中EventLoop的两种触发模式、线程安全和非阻塞性，以及其与muduo::Loop的关系。还讲解了Buffer的读写操作，以及其在muduo网络编程模型中的作用。
水平触发：socket的接收缓冲区里有数据来了，只要缓冲里有数据，select、poll或者epoll就都会一直收到通知
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
「Zero-copy」 describes computer operations in which the CPU does not perform the task of copying data from one memory area to another. This is frequently used to save CPU cycles and memory bandwidth when transmitting a file over a network.
这是在windows下面的定义。在linux下面的定义只是将SOCKET改成int，那么在linux下面的原型是这样：
缓冲区是所有 I/O 的基础，I/O 讲的无非就是把数据移进或移出缓冲区；进程执行 I/O
如今几乎每个人都听说过Linux中所谓的”零拷贝”特性，然而我经常碰到没有充分理解这个问题的人们。因此，我决定写一些文章略微深入的讲述这个问题，希望能将这个有用的特性解释清楚。在本文中，将从用户空间应用程序的角度来阐述这个问题，因此有意忽略了复杂的内核实现。 什么是”零拷贝” 为了更好的理解问题的解决法，我们首先需要理解问题本身。首先我们以一个网络服务守护进程为例，考虑它在将存储在文件中的信息通过网络传送给客户这样的简单过程中，所涉及的操作。下面是其中的部分简单代阿： read(file, tmp_buf, len); write(socket, tmp_buf, len); 看起来不能更简单了。你也许认为执行这两个系统调用并未产生多少开销。实际上，这简直错的一塌糊涂。在执行这两个系统调用的过程中，目标数据至少被复制了4次，同时发生了同样多次数的用户/内核空间的切换(实际上该过程远比此处描述的要复杂，但是我希望以简单的方式描述之，以更好的理解本文的主题)。 为了更好的理解这两句代码所涉及的操作，请看图1。图的上半部展示了上下文切换，而下半部展示了复制操作。
编程的时候，如果要跟某个IP建立连接，我们需要调用操作系统提供的 socket API。
getsockopt和setsockopt 这两个函数成功时返回0，失败时返回-1并设置errno。
在计算机操作系统中，所谓的I/O就是 输入（Input）和输出（Output），也可以理解为读（Read）和写（Write)，针对不同的对象，I/O模式可以划分为磁盘IO模型和网络IO模型。
基本操作就是循环的从磁盘读入文件内容到缓冲区，再将缓冲区的内容发送到socket。但是由于Linux的I/O操作默认是缓冲I/O。这里面主要使用的也就是read和write两个系统调用，我们并不知道操作系统在其中做了什么。实际上在以上I/O操作中，发生了多次的数据拷贝。
什么是零拷贝 维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。 零拷贝给我们带来的好处： 减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 Linux系统的“用户空间”和“内核空间” 从Linux系统上看，除了引导系统的BIN区，整个内存空间主要被分成两个部分：内核空间(Ke
我们知道，分布式系统的基础是网络。因此，网络编程始终是分布式软件工程师和架构师的必备高端基础技能之一，而且随着当前大数据和实时计算技术的兴起，高性能 RPC 框架与网络编程技术再次成为焦点。不管是 RPC 领域的 ZeroC Ice、Thrift，还是经典分布式框架 Actor 模型中的 Akka，或者实时流领域的 Storm、Spark，又或者开源分布式数据库中的 Mycat、VoltDB，这些高大上产品的底层通信技术都采用了 NIO（非阻塞通信）通信技术。而 Java 领域里大名鼎鼎的 NIO 框架——Netty，则被众多的开源项目或商业软件所采用。
为了使得多种设备能通过网络相互通信，和为了解决各种不同设备在网络互联中的兼容性问题，国际标标准化组织制定了开放式系统互联通信参考模型（open System Interconnection Reference Model），也就是 OSI 网络模型，该模型主要有 7 层，分别是应用层、表示层、会话层、传输层、网络层、数据链路层以及物理层。
net.core.netdev_max_backlog = 400000 #该参数决定了，网络设备接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。 net.core.optmem_max = 10000000 #该参数指定了每个套接字所允许的最大缓冲区的大小 net.core.rmem_default = 10000000 #指定了接收套接字缓冲区大小的缺省值（以字节为单位）。 net.core.rmem_max = 10000000 #指定了接收套接字缓冲区大小的最大值（以字节为单位）。 net.core.somaxconn = 100000 #Linux kernel参数，表示socket监听的backlog(监听队列)上限 net.core.wmem_default = 11059200 #定义默认的发送窗口大小；对于更大的 BDP 来说，这个大小也应该更大。 net.core.wmem_max = 11059200 #定义发送窗口的最大大小；对于更大的 BDP 来说，这个大小也应该更大。 net.ipv4.conf.all.rp_filter = 1 net.ipv4.conf.default.rp_filter = 1 #严谨模式 1 (推荐) #松散模式 0 net.ipv4.tcp_congestion_control = bic #默认推荐设置是 htcp net.ipv4.tcp_window_scaling = 0 #关闭tcp_window_scaling #启用 RFC 1323 定义的 window scaling；要支持超过 64KB 的窗口，必须启用该值。 net.ipv4.tcp_ecn = 0 #把TCP的直接拥塞通告(tcp_ecn)关掉 net.ipv4.tcp_sack = 1 #关闭tcp_sack #启用有选择的应答（Selective Acknowledgment）， #这可以通过有选择地应答乱序接收到的报文来提高性能（这样可以让发送者只发送丢失的报文段）； #（对于广域网通信来说）这个选项应该启用，但是这会增加对 CPU 的占用。 net.ipv4.tcp_max_tw_buckets = 10000 #表示系统同时保持TIME_WAIT套接字的最大数量 net.ipv4.tcp_max_syn_backlog = 8192 #表示SYN队列长度，默认1024，改成8192，可以容纳更多等待连接的网络连接数。 net.ipv4.tcp_syncookies = 1 #表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭； net.ipv4.tcp_timestamps = 1 #开启TCP时间戳 #以一种比重发超时更精确的方法（请参阅 RFC 1323）来启用对 RTT 的计算；为了实现更好的性能应该启用这个选项。 net.ipv4.tcp_tw_reuse = 1 #表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭； net.ipv4.tcp_tw_recycle = 1 #表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。 net.ipv4.tcp_fin_timeout = 10 #表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。 net.ipv4.tcp_keepalive_time = 1800 #表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为30分钟。 net.ipv4.tcp_keepalive_probes = 3 #如果对方不予应答，探测包的发送次数 net.ipv4.tcp_keepalive_intvl = 15 #keepalive探测包的发送间隔 net.ipv4.tcp_mem #确定 TCP 栈应该如何反映内存使用；每个值的单位都是内存页（通常是 4KB）。 #第一个值是内存使用的下限。 #第二个值是内存压力模式开始对缓冲区使用应用压力的上限。 #第三个值是内存上限。在这个层次上可以将报文丢弃，从而减少对内存的使用。对于较大的 BDP 可以增大这些值（但是要记住，其单位是内存页，而不是字节）。 net.ipv4.tcp_rmem #与 tcp_wmem 类似，不过它表示的是为自动调优所使用的接收缓冲区的值。 net.ipv4.tcp_wmem = 30000000 30000000 30000000 #为自动调优定义每个 socket 使用的内存。 #第一个值是为 socket 的发送缓冲区分配的最少字节数。 #第二个值是默认值（该
相关参数仅供参考，具体数值还需要根据机器性能，应用场景等实际情况来做更细微调整。
存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：
ACK ： TCP协议规定，只有ACK=1时有效，也规定连接建立后所有发送的报文的ACK必须为1。
Socket是应用层与TCP/IP协议族通信的中间软件抽象层，它是一组接口。在设计模式中，Socket其实就是一个门面模式，它把复杂的TCP/IP协议族隐藏在Socket接口后面，对用户来说，一组简单的接口就是全部，让Socket去组织数据，以符合指定的协议。
前一段时间研究了大规模日志流高吞吐并行存储，通过深入研究Kafka的底层存储机制。我们发现Kafka的Zero-Copy零拷贝技术采用的是Java底层FileTransferTo方法，后期我们尝试了对TransferTo性能及其并行性能进行测试。以及后面在Kafka上面实现了并行TransferTo方法，并应有到了Apache Kafka系统中。
Socket中文意思是"插座"，在Linux环境下，用于表示进程间网络通信的特殊文件类型。本质为内核借助缓冲区形成的伪文件。
从基础讲起，IO的原理和模型是隐藏在编程知识底下的，是开发人员必须掌握的基础原理，是基础的基础，更是通关大厂面试的必备知识。
Linux 按照特权等级，把进程的运行空间分为内核空间和用户空间，分别对应着下图中， CPU 特权等级分为4个,Linux 使用 Ring 0 和 Ring 3。
创建网络套接字，用于网络通信使用，类似于文件操作的open函数。该函数在服务器和客户端都会用到。
滑动窗口本质上是描述接受方的TCP数据报缓冲区大小的数据，发送方根据这个数据来计算自己最多能发送多长的数据。如果发送方收到接受方的窗口大小为0的TCP数据报，那么发送方将停止发送数据，等到接受方发送窗口大小不为0的数据报的到来。 关于滑动窗口协议，还有三个术语，分别是： 窗口合拢：当窗口从左边向右边靠近的时候，这种现象发生在数据被发送和确认的时候。 窗口张开：当窗口的右边沿向右边移动的时候，这种现象发生在接受端处理了数据以后。 窗口收缩：当窗口的右边沿向左边移动的时候，这种现象不常发生。
5、发送缓冲区数据 检查可发送该线程的相关联的所有会话上的发送缓冲区的数据,检查完后，发送会话上的发送缓冲区的数据。 VOID ExecSockDataMgr::CheckSendSessionBuffers(PEXECDATASENDTHREAD pSendThread) { int nErr, nRemainSize; char *pBuffer; PRUNGATEUSERSESSION *pSessionList = m_SessionList; PRUNGAT
（2）零拷贝完全依赖操作系统，操作系统提供了就是提供了，没有提供就没有提供，java本身做不了任何事情
接收一个数据报并保存源地址。（这里是windows中的头文件，Linux的用法在下面的那个实例）
作者：kevineluo，腾讯 CSIG 后台开发工程师 本文将从文件传输场景以及零拷贝技术深究 Linux I/O 的发展过程、优化手段以及实际应用。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性： 速度足够快：存储器的存取速度应当快于 CPU 执行一条指令，这样 CPU 的效率才不会受限于存储器； 容量足够大：容量能够存储计算机所需的全部数据； 价格足够便宜：价格低廉，所有类型的计算机都能配备。 但是现实往往是残酷的，我们目前的计算机技术无法同时满足上述的三个
导言 | 本文邀请到腾讯CSIG后台开发工程师kevineluo从文件传输场景以及零拷贝技术深究Linux I/O的发展过程、优化手段以及实际应用。I/O相关的各类优化已经深入到了日常开发者接触到的语言、中间件以及数据库的方方面面。通过了解和学习相关技术和思想，开发者能对日后自己的程序设计以及性能优化上有所启发。 前言 存储器是计算机的核心部件之一，在完全理想的状态下，存储器应该要同时具备以下三种特性：第一，速度足够快：存储器的存取速度应当快于CPU执行一条指令，这样CPU的效率才不会受限于存储器；第二，
1) 应用程序可通过调用send(write, sendmsg等)利用tcp socket向网络发送应用数据，而tcp/ip协议栈再通过网络设备接口把已经组织成struct sk_buff的应用数据(tcp数据报)真正发送到网络上，由于应用程序调用send的速度跟网络介质发送数据的速度存在差异，所以，一部分应用数据被组织成tcp数据报之后，会缓存在tcp socket的发送缓存队列中，等待网络空闲时再发送出去。同时，tcp协议要求对端在收到tcp数据报后，要对其序号进行ACK，只有当收到一个tcp 数据报的ACK之后，才可以把这个tcp数据报(以一个struct sk_buff的形式存在)从socket的发送缓冲队列中清除。 tcp socket的发送缓冲区实际上是一个结构体struct sk_buff的队列，我们可以把它称为发送缓冲队列，由结构体struct sock的成员sk_write_queue表示。sk_write_queue是一个结构体struct sk_buff_head类型，这是一个struct sk_buff的双向链表，其定义如下：
Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
本文将从上层介绍Linux上的TCP/IP栈是如何工作的，特别是socket系统调用和内核数据结构的交互、内核和实际网络的交互。写这篇文章的部分原因是解释监听队列溢出(listen queue overflow)是如何工作的，因为它与我工作中一直在研究的一个问题相关。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
