sendfile(2) is a UNIX system call which provides a “zero-copy” way of copying data from one file descriptor (a file) to another (a socket). Because this copying is done entirely within the kernel, sendfile(2) is more efficient than the combination of “file.read()” and “socket.send()”, which requires transferring data to and from user space. This copying of the data twice imposes some performance and resource penalties which sendfile(2) syscall avoids; it also results in a single system call (and thus only one context switch), rather than the series of read(2) / write(2) system calls (each system call requiring a context switch) used internally for the data copying. A more exhaustive explanation of how sendfile(2) works is available here, but long story short is that sending a file with sendfile() is usually twice as fast than using plain socket.send(). Typical applications which can benefit from using sendfile() are FTP and HTTP servers.
nginx的IO模型，大家应该都有所了解。简单而言，就是一个master进程和多个worker进程（进程数由配置决定）；master进程负责accept请求并队列化，最后转发给worker进程并由其进行请求处理和响应的整个过程。
看见Cloudreve能配置X-Sendfile使下载速率更快，但是后来才发现这是对本地存储而言，自己的上传策略是对接七牛云的，那就算了。
如今几乎每个人都听说过Linux中所谓的”零拷贝”特性，然而我经常碰到没有充分理解这个问题的人们。因此，我决定写一些文章略微深入的讲述这个问题，希望能将这个有用的特性解释清楚。在本文中，将从用户空间应用程序的角度来阐述这个问题，因此有意忽略了复杂的内核实现。 什么是”零拷贝” 为了更好的理解问题的解决法，我们首先需要理解问题本身。首先我们以一个网络服务守护进程为例，考虑它在将存储在文件中的信息通过网络传送给客户这样的简单过程中，所涉及的操作。下面是其中的部分简单代阿： read(file, tmp_buf, len); write(socket, tmp_buf, len); 看起来不能更简单了。你也许认为执行这两个系统调用并未产生多少开销。实际上，这简直错的一塌糊涂。在执行这两个系统调用的过程中，目标数据至少被复制了4次，同时发生了同样多次数的用户/内核空间的切换(实际上该过程远比此处描述的要复杂，但是我希望以简单的方式描述之，以更好的理解本文的主题)。 为了更好的理解这两句代码所涉及的操作，请看图1。图的上半部展示了上下文切换，而下半部展示了复制操作。
sendfile系统调用在两个文件描述符之间直接传递数据(完全在内核中操作)，从而避免了数据在内核缓冲区和用户缓冲区之间的拷贝，操作效率很高，被称之为零拷贝。
sendfile 函数在两个文件描写叙述符之间直接传递数据(全然在内核中操作，传送)，从而避免了内核缓冲区数据和用户缓冲区数据之间的拷贝，操作效率非常高，被称之为零拷贝。
现在只要涉及到存储，涉及到和文件相关的开源框架，几乎都不约而同的会使用零拷贝技术，因为零拷贝技术可以让速度变快。零拷贝技术并不是说完全不拷贝，而是尽可能的减少拷贝。
在Node.js中，当我们给前端返回一个静态文件的时候，我们通常会把文件先读进内容，然后通过socket接口写到底层，从而返回给前端。无论是一次性读取到内存还是使用流式的方式，都不可避免地要把数据从内核复制到用户层，再把数据复制到内核，这是一种低效的方式，因为多了无效的复制。在nginx中，可以通过sendfile指令提供效率。Node.js的copyFile底层使用了sendfile系统调用，但是网络IO的时候，没有使用该API。因为Node.js通过队列的方式，控制数据的写入。那么是否可以实现sendfile的方式来提供这网络IO的效率。首先我们看一下sendfile的好处是什么。
写一个WEB服务器，如果用file_get_contents从磁盘中读取文件，并发直线下降，用sendfile可以提升性能。但是PHP不支持，开发扩展我又不会，只能靠抄袭PHP扩展源码维持一下生活这样子。
Source：Linux Zero-Copy Using sendfile(). sendfile() has been gradually becoming… | by CocCoc Techblog | The Startup | Medium
零拷贝：零拷贝技术可以减少数据拷贝和共享总线操作的次数，消除通信数据在存储器之间不必要的中间拷贝过程，有效地提高通信效率，是设计高速接口通道、实现高速服务器和路由器的关键技术之一。 sendfile
本文转自： http://www.yanyufly.com/2010/10/22/sendfile为什么比readwrite快/
sendfile函数在两个文件描述符之间直接传递数据（完全在内核中操作），从而避免了内核缓冲区和用户缓冲区之间的数据拷贝，效率很高，这被称为零拷贝。sendfile函数的定义如下：
我们看到，通过 DMA 芯片进行的硬盘读写过程需要进行四次特权级切换和四次拷贝操作。
零拷贝（Zero-copy）是指计算机执行操作时，CPU不需要先将数据从某处内存复制到另一个特定区域。这种技术通常用于通过网络传输文件时节省CPU周期和内存带宽。
X-Sendfile 是一种将文件下载请求由后端应用转交给前端 web 服务器处理的机制，它可以消除后端程序既要读文件又要处理发送的压力，从而显著提高服务器效率，特别是处理大文件下载的情形下！
1.try_files指令可用于检查指定的文件或目录是否存在; NGINX会进行内部重定向，如果没有，则返回指定的状态代码。例如，要检查对应于请求URI的文件是否存在，请使用try_files指令和$ uri变量，如下所示： server { root /www/data; location /images/ { try_files $uri /images/default.gif; } } 2.对NGINX配置进行微小优化可以提高生产力并帮助实现最佳性能。启用se
1、可以理解为数据不需要重复的拷贝，能大大提升系统的性能。这个词我们也经常在netty，kafka，RocketMQ等框架中听到，经常作为其提升性能的一大亮点。
零拷贝技术 是编写高性能服务器的一个关键技术，在介绍 零拷贝技术 前先说明一下 用户空间 与 内核空间。
sendfile函數linux內核新加的函數,可以使得網絡傳輸文件時用户层无需分配缓冲区给将要传输的文件,从而能够节约内存,并直接调用系统调用
在上一篇推文中讲解了零拷贝思想在Linux系统中的实现，主要有mmap、sendfile、splice、tee等，但在Java中目前主要实现了mmap和sendfile。
继续我们的 HTTP 核心模块之旅。今天主要是文件相关的一些处理操作，包括 DirectIO、文件缓存以及 sendfile 相关的配置。这三个配置中，大家应该会见过 sendfile ，但是另外两个就比较少见了。包括我之前也从来没见过，不过还好，DirectIO 并不是一个完全的陌生人，文件缓存优化也与操作系统基础知识有关，而 sendfile 一般默认就是开启的，所以大家也不要有太大的压力哦。
零拷贝是老生常谈的问题啦，大厂非常喜欢问。比如Kafka为什么快，RocketMQ为什么快等，都涉及到零拷贝知识点。最近技术讨论群几个伙伴分享了阿里、虾皮的面试真题，也都涉及到零拷贝。因此本文将跟大家一起来学习零拷贝原理。
平时在面试中你肯定会经常碰见的问题就是：RocketMQ为什么快？Kafka为什么快？什么是mmap？
基本操作就是循环的从磁盘读入文件内容到缓冲区，再将缓冲区的内容发送到socket。但是由于Linux的I/O操作默认是缓冲I/O。这里面主要使用的也就是read和write两个系统调用，我们并不知道操作系统在其中做了什么。实际上在以上I/O操作中，发生了多次的数据拷贝。
上一篇推文《百万并发「零拷贝」技术系列之初探门径》中的示例告诉我们：传统的I/O操作读取文件并通过Socket发送，需要经过4次上下文切换、2次CPU数据拷贝和2次DMA控制器数据拷贝，如下图
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。
硬盘 -> 内核buffer -> 用户buffer -> socket相关缓冲区 -> 协议栈
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/134831.html原文链接：https://javaforall.cn
本文探讨Linux中 主要的几种零拷贝技术 以及零拷贝技术 适用的场景 。为了迅速建立起零拷贝的概念，我们拿一个常用的场景进行引入：
相信不少的网友，在很多的博客文章里面，已经见到过零拷贝这个词，会不禁的发出一些疑问，什么是零拷贝？
概述 考虑这样一种常用的情形：你需要将静态内容（类似图片、文件）展示给用户。那么这个情形就意味着你需要先将静态内容从磁盘中拷贝出来放到一个内存buf中，然后将这个buf通过socket传输给用户，进而
Linux kernel 2.2之前，（如图）读写数据基本都是使用read系统调用和write系调用，以nginx来说如果一个请求建立，从磁盘的文件到网络连接之间会通过硬件（DMA）---内核层---用户层多次读写系统来完成文件数据的复制传输：从内核层用read系统调用读到用户层，再从用户层用write系统调用写到内核层，每一次用户层到内核层的进行一次上下文转换，这种代价是非常昂贵的。甚至在没有数据变化时这种复制尤其显得多余。如果nginx接受大量并发请求，这种系统调用就会非常频繁，服务器的性能就会下降。
实际上，零拷贝是有广义和狭义之分，目前我们通常听到的零拷贝，包括上面这个定义减少不必要的拷贝次数都是广义上的零拷贝。其实了解到这点就足够了。
传统的WEB服务器在收到请求后，从磁盘读取数据，然后将数据写到网卡，通过网卡发送给客户端，这一读一写的过程中就涉及数据的拷贝：
像大白这种调包侠，深知不懂底层技术点就如同空中楼阁，再这样下去面阿里p10是没希望了。
上一次我们说了传统的IO操作是如何是实现的,最后引出了零拷贝技术,这次我们看看有那些零开拷贝技术.(如果不使用零拷贝技术，普通的IO操作在OS层面是如何执行的)
零拷贝经常在各个框架使用,比如kafka,rocketmq,都起到了很好的作用,首先我们要知道零拷贝不是没有一次拷贝，是尽可能的减少拷贝。
（2）零拷贝完全依赖操作系统，操作系统提供了就是提供了，没有提供就没有提供，java本身做不了任何事情
default_type application/octet-stream; 如果mime类型没匹配上，默认使用二进制流的方式传输。
上一篇所说的micr-batch 其实主要是针对producer 来实现的，Kafka整体吞吐量高可不只是依赖于micr-batch这一点，还有broker端及consumer端。
Linux系统中一切皆文件，仔细想一下Linux系统的很多活动无外乎读操作和写操作，零拷贝就是为了提高读写性能而出现的。
我们以用户通过网络读取一个本地磁盘上文件为例，在说零拷贝之前，我们先要说说一个普通的IO操作是怎样做的
用kafka做存储层，为什么呢？一大堆可以做数据存储的 MySQL、MongoDB、HDFS……
什么是零拷贝 维基上是这么描述零拷贝的：零拷贝描述的是CPU不执行拷贝数据从一个存储区域到另一个存储区域的任务，这通常用于通过网络传输一个文件时以减少CPU周期和内存带宽。 零拷贝给我们带来的好处： 减少甚至完全避免不必要的CPU拷贝，从而让CPU解脱出来去执行其他的任务 减少内存带宽的占用 通常零拷贝技术还能够减少用户空间和操作系统内核空间之间的上下文切换 Linux系统的“用户空间”和“内核空间” 从Linux系统上看，除了引导系统的BIN区，整个内存空间主要被分成两个部分：内核空间(Ke
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
