零拷贝详解_深拷贝和浅拷贝如何实现

大家好，又见面了，我是你们的朋友全栈君。

一、概念

1、用户态与内核态 ⽤户态和内核态是操作系统的两种运⾏状态。 （1）内核态：处于内核态的CPU可以访问任意的数据，包括外围设备，⽐如⽹卡、硬盘等，处于内核态的 CPU 可以从⼀个程序切换到另外⼀个程序，并且占⽤ CPU 不会发⽣抢占情况，⼀般处于特权级 0 的状态我们称之为内核态。 （2）⽤户态：处于⽤户态的CPU只能受限的访问内存，并且不允许访问外围设备，⽤户态下的 CPU 不允许独占，也就是说 CPU 能够被其他程序获取。

注意： 1）为什么要有⽤户态和内核态呢？ 　　这个主要是访问能⼒的限制的考量，计算机中有⼀些⽐较危险的操作，⽐如设置时钟、内存清理，这些都需要在内核态下完成，如果随意进⾏危险操作，极容易导致系统崩坏。 2）读取磁盘数据的时候为什么会发生上下文切换？ 　　因为用户空间没有权限操作磁盘或网卡，内核的权限最高，这些操作设备的过程都需要交由操作系统内核来完成，所以一般要通过内核去完成某些任务的时候，就需要使用操作系统提供的系统调用函数。

可参考：《用户态和内核态的区别》 2、零拷贝、浅拷贝、深拷贝 （1）零拷贝 零拷贝就是一种避免 CPU 将数据从一块存储拷贝到另外一块存储的技术。针对操作系统中的设备驱动程序、文件系统以及网络协议堆栈而出现的各种零拷贝技术极大地提升了特定应用程序的性能，并且使得这些应用程序可以更加有效地利用系统资源。这种性能的提升就是通过在数据拷贝进行的同时，允许 CPU 执行其他的任务来实现的。 　　零拷贝技术可以减少数据拷贝和共享总线操作的次数，消除传输数据在存储器之间不必要的中间拷贝次数，从而有效地提高数据传输效率。而且，零拷贝技术减少了用户应用程序地址空间和操作系统内核地址空间之间因为上下文切换而带来的开销。进行大量的数据拷贝操作其实是一件简单的任务，从操作系统的角度来说，如果 CPU 一直被占用着去执行这项简单的任务，那么这将会是很浪费资源的；如果有其他比较简单的系统部件可以代劳这件事情，从而使得 CPU 解脱出来可以做别的事情，那么系统资源的利用则会更加有效。综上所述，零拷贝技术的目标可以概括如下： 1）避免数据拷贝 ①避免操作系统内核缓冲区之间进行数据拷贝操作。 ②避免操作系统内核和用户应用程序地址空间这两者之间进行数据拷贝操作。 ③用户应用程序可以避开操作系统直接访问硬件存储。 ④数据传输尽量让 DMA 来做。 2）综合目标 ①避免不必要的系统调用和上下文切换。 ②需要拷贝的数据可以先被缓存起来。 ③对数据进行处理尽量让硬件来做。

（2）浅拷贝 　　值类型的字段会复制一份，而引用类型的字段拷贝的仅仅是引用地址，而该引用地址指向的实际对象空间其实只有一份。Object中的clone()方法默认就是执行的浅拷贝。

（3）深拷贝 　　值类型字段会复制一份，引用类型字段所指向的对象，会在内存中也创建一个副本。 可参考：《一文搞清深拷贝和浅拷贝》

3、DMA（Direct Memory Access，直接内存访问） （1）简介 　　在进行I/O设备和内存的数据传输的时候，数据搬运的工作全部交给DMA控制器，而 CPU不再参与任何与数据搬运相关的事情，这样CPU就可以去处理别的事务。

（2）没有DMA技术前的数据传输过程 1）CPU 发出对应的指令给磁盘控制器，然后返回； 2）磁盘控制器收到指令后，于是就开始准备数据，会把数据放入到磁盘控制器的内部缓冲区中，然后产生一个中断； 3）CPU 收到中断信号后，停下手头的工作，接着把磁盘控制器的缓冲区的数据一次一个字节地读进自己的寄存器，然后再把寄存器里的数据写入到内存，而在数据传输的期间 CPU 是无法执行其他任务的。

在这里插入图片描述

（3）有DMA技术后的数据传输过程 1）用户进程调用 read 方法，向操作系统发出 I/O 请求，请求读取数据到自己的内存缓冲区中，进程进入阻塞状态； 2）操作系统收到请求后，进一步将 I/O 请求发送 DMA，然后让 CPU 执行其他任务； 3）DMA 进一步将 I/O 请求发送给磁盘； 4）磁盘收到 DMA 的 I/O 请求，把数据从磁盘读取到磁盘控制器的缓冲区中，当磁盘控制器的缓冲区被读满后，向 DMA 发起中断信号，告知自己缓冲区已满； 5）DMA 收到磁盘的信号，将磁盘控制器缓冲区中的数据拷贝到内核缓冲区中，此时不占用 CPU，CPU 可以执行其他任务； 6）当 DMA 读取了足够多的数据，就会发送中断信号给 CPU； 7）CPU 收到 DMA 的信号，知道数据已经准备好，于是将数据从内核拷贝到用户空间，系统调用返回；

在这里插入图片描述

上面两图参考自：https://zhuanlan.zhihu.com/p/258513662 可参考：https://baike.baidu.com/item/DMA/2385376?fr=aladdin

二、优化发展史

可参考：《原来 8 张图，就可以搞懂「零拷贝」了》

三、如何实现零拷贝

1、mmap 　　mmap 通过内存映射，将文件映射到内核缓冲区，同时，用户空间可以共享内核空间的数据。这样，在进行网络传输时，就可以减少内核空间到用户空间的拷贝次数。 　　RocketMQ 中就是使用的 mmap 来提升磁盘文件的读写性能 2、sendfile 　　还能继续优化吗？ Linux 2.1 版本提供了 sendFile 函数，其基本原理如下：数据根本不经过用户态，直接从内核缓冲区进入到 Socket Buffer，同时，由于和用户态完全无关，就减少了一次上下文切换。 　　Kafka 和 Tomcat 内部使用就是 sendFile 这种零拷贝。

可参考下列文章： 《原来 8 张图，就可以搞懂「零拷贝」了》 《什么是零拷贝？MMAP与SENDFILE的区别是什么？》 《零拷贝：mmap和sendFile 的区别》

四、传统 IO、mmap、sendfile对比

1、传统 IO 　　传统 IO 执行的话需要 4 次上下文切换（用户态 -> 内核态 -> 用户态 -> 内核态 -> 用户态）和 4 次拷贝（磁盘文件 DMA 拷贝到内核缓冲区，内核缓冲区 CPU 拷贝到用户缓冲区，用户缓冲区 CPU 拷贝到 Socket 缓冲区，Socket 缓冲区 DMA 拷贝到协议引擎）。

在这里插入图片描述

2、mmap 　　mmap 将磁盘文件映射到内存，支持读和写，对内存的操作会反映在磁盘文件上，适合小数据量读写，需要 4 次上下文切换（用户态 -> 内核态 -> 用户态 -> 内核态 -> 用户态）和3 次拷贝（磁盘文件DMA拷贝到内核缓冲区，内核缓冲区 CPU 拷贝到 Socket 缓冲区，Socket 缓冲区 DMA 拷贝到协议引擎）。　　

在这里插入图片描述

3、sendfile 　　sendfile 是将读到内核空间的数据，转到 socket buffer，进行网络发送，适合大文件传输，只需要 2 次上下文切换（用户态 -> 内核态 -> 用户态）和 2 次拷贝（磁盘文件 DMA 拷贝到内核缓冲区，内核缓冲区 DMA 拷贝到协议引擎）。　

在这里插入图片描述

上面的三张图片引用自：《零拷贝：mmap和sendFile 的区别》

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。