前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >05-Java NIO 编程 零拷贝 与 AIO

05-Java NIO 编程 零拷贝 与 AIO

作者头像
彼岸舞
发布2022-02-18 13:50:00
2970
发布2022-02-18 13:50:00
举报

NIO 与 零拷贝

零拷贝基本介绍

  1. 零拷贝是网络编程的关键, 很多性能优化都离不开
  2. 在Java程序中, 常用的零拷贝有mmap(内存映射) 和 sendFile. 那么, 他们在OS里, 到底是咋么样的一个设计? 我们分析mmap和sendFile这两个零拷贝
  3. 另外我们看一下NIO中如何使用零拷贝

传统IO数据读写

Java传统IO和网络编程的一段代码

传统IO模型

DMA : direct memory access 直接内存拷贝( 不使用CPU )

mmap 优化

  1. mmap 通过内存映射, 将文件映射到内核缓冲区,同时 用户空间可以共享内核空间的数据, 这样,在进行网络传输时, 就可以减少内核空间到用户空间的拷贝次数,如下图
  2. mmap示意图

sendFile 优化

  1. Linux 2.1 版本 提供了 sendFIle 函数, 其基本原理如下: 数据根本不经过用户态,直接从内核缓冲区进入到Socket Buffer ,同时, 由于和用户态完全无关, 就减少了一次上下文切换
  2. 示意图和小结
  1. 提示: 零拷贝从操作系统角度, 是没有CPU拷贝的
  2. Linux 在2.4 版本中, 做了一些修改, 避免了从内核缓冲区拷贝到SocketBuffer, 的操作,直接拷贝到协议栈,从而再一次减少了数据拷贝,具体如下图和小结
  1. 这里其实有一次CPU拷贝
    1. Kernel buffer -> socket buffer
    2. 但是,拷贝的信息很少, 比如 length, offset
    3. 信息很少,可以忽略

零拷贝的再次理解

  1. 我们说零拷贝, 是从操作系统的角度来说的,因为内核缓冲区之间, 没有数据是重复的(只有 kernel buffer 有一份数据)
  2. 零拷贝不仅仅带了更少的数据复制, 还能带来其他的性能优势, 例如更少的上下文切换, 更少的CPU缓存伪共享以及无CPU校验和计算

mmap 和 sendFile的区别

  1. mmap适合小数据量读写, sendFile 适合大文件传输
  2. mmap需要4次上下文切换, 3次数据拷贝; sendFile 需要3次上下文切换, 最少2次数据拷贝
  3. sendFile可以利用DMA方式, 减少CPU拷贝, mmap则不能(必须从内核拷贝到Socket缓冲区)

零拷贝案例

需求

  1. 使用传统IO方法传递一个大文件
  2. 使用NIO零拷贝方式传递(transferTo)一个大文件
  3. 看看两种传递方式消耗时间分别是多少

编码

server

代码语言:javascript
复制
package com.dance.netty.nio.demo.zerocopy;

import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;

public class ZeroCopyServer {

    public static void main(String[] args) throws Exception {

        InetSocketAddress inetSocketAddress = new InetSocketAddress(7001);

        ServerSocketChannel open = ServerSocketChannel.open();

        open.socket().bind(inetSocketAddress);

        for (;;){
            SocketChannel accept = open.accept();
            int countSize = 0;
            ByteBuffer allocate = ByteBuffer.allocate(4096);
            while (-1 != countSize){
                countSize  = accept.read(allocate);
                allocate.rewind(); // 倒置 position=0 Mark 作废
            }
        }

    }

}

client

代码语言:javascript
复制
package com.dance.netty.nio.demo.zerocopy;

import java.io.File;
import java.io.FileInputStream;
import java.net.InetSocketAddress;
import java.nio.channels.FileChannel;
import java.nio.channels.SocketChannel;
import java.time.Duration;
import java.time.Instant;

public class ZeroCopyClient {

    public static void main(String[] args) throws Exception {

        SocketChannel open = SocketChannel.open();
        boolean connect = open.connect(new InetSocketAddress(7001));

        // 获取文件Channel
        File file = new File("src/main/resources/01.jpeg");
        FileChannel channel = new FileInputStream(file).getChannel();

        Instant startTime = Instant.now();

        /*
         * 在Linux下,一个transferTo方法就可以传输完成
         * 在Windows下,调用一次transferTo 只能传输8M,就需要分段传输文件,而且要记录传输时的位置
         * transferTo 底层使用零拷贝
         */
        long l = channel.transferTo(0, channel.size(), open);
        System.out.println(l);

        Instant endTime = Instant.now();
        System.out.println("用时:" + Duration.between(startTime,endTime).toMillis() + "ms");
        channel.close();
    }

}

执行结果

代码语言:javascript
复制
6806
用时:3ms

零拷贝博客

https://blog.csdn.net/weixin_42096901/article/details/103017044

我感觉写的很不错

AIO 基本介绍

  1. JDK7 引入了,Asynchronous I/O,即AIO ,在进行IO编程中,常用到两种模式:Reactor 和 Proactor, Java 的NIO就是Reactor,,当有事件触发时,服务器端得到通知进行相应的处理
  2. AIO 即NIO2.0, 叫异步非阻塞IO, AIO引入异步通道的概念,采用了Proactor模式,简化了程序编写,有效的请求才启动线程,他的特点是,先由操作系统完成后才通知服务端程序启动线程去处理,一般适用于连接数较多,且连接时间较长的应用
  3. 目前AIO还没有广泛应用,Netty也是基于NIO,而不是AIO,因此就不在这里讲AIO了,有兴趣的可以链接一下
  4. <<Java 新一代网络编程模型AIO原理及Linux系统AIO介绍>>

BIO NIO 和 AIO对比

举例说明

  1. 同步阻塞: 到理发店理发,就一直等着,直到轮到自己理发
  2. 同步非阻塞: 到理发店理发,发现前面有其他人,给理发师说一下先干其他事情,一会过来看是否轮到自己
  3. 异步非阻塞: 给理发师打电话,让理发师上门服务,自己干其他事情,理发师上门通知,来你家给你理发

NIO完结撒花花

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2022-01-21 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • NIO 与 零拷贝
    • 零拷贝基本介绍
      • 传统IO数据读写
        • 传统IO模型
          • mmap 优化
            • sendFile 优化
              • 零拷贝的再次理解
                • mmap 和 sendFile的区别
                  • 零拷贝案例
                    • 需求
                    • 编码
                    • 执行结果
                  • 零拷贝博客
                  • AIO 基本介绍
                  • BIO NIO 和 AIO对比
                  领券
                  问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档