Java NIO

一、阻塞IO与非阻塞IO

阻塞IO:

　　通常在进行同步I/O操作时，如果读取数据，代码会阻塞直至有 可供读取的数据。同样，写入调用将会阻塞直至数据能够写入。传统的Server/Client模式会基于TPR（Thread per Request）,服务器会为每个客户端请求建立一个线程，由该线程单独负责处理一个客户请求。这种模式带来的一个问题就是线程数量的剧增，大量的线程会增大服务器的开销。大多数的实现为了避免这个问题，都采用了线程池模型，并设置线程池线程的最大数量，这由带来了新的问题，如果线程池中有200个线程，而有200个用户都在进行大文件下载，会导致第201个用户的请求无法及时处理，即便第201个用户只想请求一个几KB大小的页面。传统的 Server/Client模式如下图所示：

非阻塞IO(NIO):

　　NIO中非阻塞I/O采用了基于Reactor模式的工作方式，I/O调用不会被阻塞，相反是注册感兴趣的特定I/O事件，如可读数据到达，新的套接字连接等等，在发生特定事件时，系统再通知我们。NIO中实现非阻塞I/O的核心对象就是Selector，Selector就是注册各种I/O事件地 方，而且当那些事件发生时，就是这个对象告诉我们所发生的事件，如下图所示：

从图中可以看出，当有读或写等任何注册的事件发生时，可以从Selector中获得相应的SelectionKey，同时从 SelectionKey中可以找到发生的事件和该事件所发生的具体的SelectableChannel，以获得客户端发送过来的数据。

非阻塞指的是IO事件本身不阻塞,但是获取IO事件的select()方法是需要阻塞等待的.区别是阻塞的IO会阻塞在IO操作上, NIO阻塞在事件获取上,没有事件就没有IO, 从高层次看IO就不阻塞了.也就是说只有IO已经发生那么我们才评估IO是否阻塞,但是select()阻塞的时候IO还没有发生,何谈IO的阻塞呢?NIO的本质是延迟IO操作到真正发生IO的时候,而不是以前的只要IO流打开了就一直等待IO操作。

二.NIO原理及通信模型

Java NIO是在jdk1.4开始使用的，它既可以说成“新I/O”，也可以说成非阻塞式I/O。下面是java NIO的工作原理：

1. 由一个专门的线程来处理所有的 IO 事件，并负责分发。

2. 事件驱动机制：事件到的时候触发，而不是同步的去监视事件。

3. 线程通讯：线程之间通过 wait,notify 等方式通讯。保证每次上下文切换都是有意义的。减少无谓的线程切换。

阅读过一些资料之后，下面贴出我理解的java NIO的工作原理图：

（注：每个线程的处理流程大概都是读取数据、解码、计算处理、编码、发送响应。）

Java NIO的服务端只需启动一个专门的线程来处理所有的 IO 事件，这种通信模型是怎么实现的呢？呵呵，我们一起来探究它的奥秘吧。java NIO采用了双向通道（channel）进行数据传输，而不是单向的流（stream），在通道上可以注册我们感兴趣的事件。一共有以下四种事件：

事件名对应值

服务端接收客户端连接事件SelectionKey.OP_ACCEPT(16)

客户端连接服务端事件SelectionKey.OP_CONNECT(8)

读事件SelectionKey.OP_READ(1)

写事件SelectionKey.OP_WRITE(4)

服务端和客户端各自维护一个管理通道的对象，我们称之为selector，该对象能检测一个或多个通道 (channel) 上的事件。我们以服务端为例，如果服务端的selector上注册了读事件，某时刻客户端给服务端发送了一些数据，阻塞I/O这时会调用read()方法阻塞地读取数据，而NIO的服务端会在selector中添加一个读事件。服务端的处理线程会轮询地访问selector，如果访问selector时发现有感兴趣的事件到达，则处理这些事件，如果没有感兴趣的事件到达，则处理线程会一直阻塞直到感兴趣的事件到达为止。下面是我理解的java NIO的通信模型示意图：

三、Java NIO 概述

Java NIO 由以下几个核心部分组成：

Channels

Buffers

Selectors

虽然Java NIO 中除此之外还有很多类和组件，但在我看来，Channel，Buffer 和 Selector 构成了核心的API。其它组件，如Pipe和FileLock，只不过是与三个核心组件共同使用的工具类。因此，在概述中我将集中在这三个组件上。其它组件会在单独的章节中讲到。

Channel 和 Buffer

基本上，所有的 IO 在NIO 中都从一个Channel 开始。Channel 有点象流。 数据可以从Channel读到Buffer中，也可以从Buffer 写到Channel中。这里有个图示：

Channel和Buffer有好几种类型。下面是JAVA NIO中的一些主要Channel的实现：

FileChannel

DatagramChannel

SocketChannel

ServerSocketChannel

正如你所看到的，这些通道涵盖了UDP 和 TCP 网络IO，以及文件IO。

与这些类一起的有一些有趣的接口，但为简单起见，我尽量在概述中不提到它们。本教程其它章节与它们相关的地方我会进行解释。

以下是Java NIO里关键的Buffer实现：

ByteBuffer

CharBuffer

DoubleBuffer

FloatBuffer

IntBuffer

LongBuffer

ShortBuffer

这些Buffer覆盖了你能通过IO发送的基本数据类型：byte, short, int, long, float, double 和 char。

Java NIO 还有个 MappedByteBuffer，用于表示内存映射文件， 我也不打算在概述中说明。

Selector

Selector允许单线程处理多个 Channel。如果你的应用打开了多个连接（通道），但每个连接的流量都很低，使用Selector就会很方便。例如，在一个聊天服务器中。

这是在一个单线程中使用一个Selector处理3个Channel的图示：

要使用Selector，得向Selector注册Channel，然后调用它的select()方法。这个方法会一直阻塞到某个注册的通道有事件就绪。一旦这个方法返回，线程就可以处理这些事件，事件的例子有如新连接进来，数据接收等。

NIO使用步骤

服务端步骤：

步骤一：打开ServerSocketChannel，用于监听客户端的连接，它是所有客户端连接的父管道，代码示例如下：

ServerSocketChannel acceptorSvr = ServerSocketChannel.open();

步骤二：绑定监听端口，设置连接为非阻塞模式，示例代码如下：

acceptorSvr.socket().bind(new InetSocketAddress(InetAddress.getByName(“IP”), port));

acceptorSvr.configureBlocking(false);

步骤三：创建Reactor线程，创建多路复用器并启动线程，代码如下：

Selector selector = Selector.open();

New Thread(newReactorTask()).start();

步骤四：将ServerSocketChannel注册到Reactor线程的多路复用器Selector上，监听ACCEPT事件，代码如下：

SelectionKey key = acceptorSvr.register( selector, SelectionKey.OP_ACCEPT, ioHandler);

步骤五：多路复用器在线程run方法的无限循环体内轮询准备就绪的Key，代码如下：

intnum = selector.select();

Set selectedKeys = selector.selectedKeys();

Iterator it = selectedKeys.iterator();

while (it.hasNext()) {

SelectionKey key = (SelectionKey)it.next();

// ... deal with I/O event ...}

步骤六：多路复用器监听到有新的客户端接入，处理新的接入请求，完成TCP三次握手，建立物理链路，代码示例如下：

SocketChannel channel = svrChannel.accept();

步骤七：设置客户端链路为非阻塞模式，示例代码如下：

channel.configureBlocking(false);

channel.socket().setReuseAddress(true);

步骤八：将新接入的客户端连接注册到Reactor线程的多路复用器上，监听读操作，用来读取客户端发送的网络消息，代码如下：

SelectionKey key = socketChannel.register( selector, SelectionKey.OP_READ, ioHandler);

步骤九：异步读取客户端请求消息到缓冲区，示例代码如下：

intreadNumber = channel.read(receivedBuffer);

步骤十：对ByteBuffer进行编解码，如果有半包消息指针reset，继续读取后续的报文，将解码成功的消息封装成Task，投递到业务线程池中，进行业务逻辑编排，示例代码如下：

Object message =null;

while(buffer.hasRemain())

{

byteBuffer.mark();

Object message = decode(byteBuffer);

if(message ==null)

{

byteBuffer.reset();

break;

}

messageList.add(message );

}

if(!byteBuffer.hasRemain())

byteBuffer.clear();

else byteBuffer.compact();

if(messageList !=null& !messageList.isEmpty())

{

for(Object messageE : messageList)

handlerTask(messageE);

}

步骤十一：将POJO对象encode成ByteBuffer，调用SocketChannel的异步write接口，将消息异步发送给客户端，示例代码如下：

socketChannel.write(buffer);

注意：如果发送区TCP缓冲区满，会导致写半包，此时，需要注册监听写操作位，循环写，直到整包消息写入TCP缓冲区，此处不赘述，后续Netty源码分析章节会详细分析Netty的处理策略。

当我们了解创建NIO服务端的基本步骤之后，下面我们将前面的时间服务器程序通过NIO重写一遍，让大家能够学习到完整版的NIO服务端创建。

客户端步骤：

步骤一：打开SocketChannel，绑定客户端本地地址（可选，默认系统会随机分配一个可用的本地地址），示例代码如下：

SocketChannel clientChannel = SocketChannel.open();

步骤二：设置SocketChannel为非阻塞模式，同时设置客户端连接的TCP参数，示例代码如下：

clientChannel.configureBlocking(false);

socket.setReuseAddress(true);

socket.setReceiveBufferSize(BUFFER_SIZE);

socket.setSendBufferSize(BUFFER_SIZE);

步骤三：异步连接服务端，示例代码如下：

booleanconnected = clientChannel.connect(newInetSocketAddress(“ip”,port));

步骤四：判断是否连接成功，如果连接成功，则直接注册读状态位到多路复用器中，如果当前没有连接成功（异步连接，返回false，说明客户端已经发送sync包，服务端没有返回ack包，物理链路还没有建立），示例代码如下：

if (connected)

{

clientChannel.register( selector, SelectionKey.OP_READ, ioHandler);

}

else {

clientChannel.register( selector, SelectionKey.OP_CONNECT, ioHandler);

}

步骤五：向Reactor线程的多路复用器注册OP_CONNECT状态位，监听服务端的TCP ACK应答，示例代码如下：

clientChannel.register( selector, SelectionKey.OP_CONNECT, ioHandler);

步骤六：创建Reactor线程，创建多路复用器并启动线程，代码如下：

Selector selector = Selector.open();

New Thread(newReactorTask()).start();

步骤七：多路复用器在线程run方法的无限循环体内轮询准备就绪的Key，代码如下：

intnum = selector.select();

Set selectedKeys = selector.selectedKeys();

Iterator it = selectedKeys.iterator();

while (it.hasNext()) {

if (key.isConnectable())

//handlerConnect();}

步骤九：判断连接结果，如果连接成功，注册读事件到多路复用器，示例代码如下：

if (channel.finishConnect())

registerRead();

步骤十：注册读事件到多路复用器：

clientChannel.register( selector, SelectionKey.OP_READ, ioHandler);

步骤十一：异步读客户端请求消息到缓冲区，示例代码如下：

intreadNumber = channel.read(receivedBuffer);

步骤十二：对ByteBuffer进行编解码，如果有半包消息接收缓冲区Reset，继续读取后续的报文，将解码成功的消息封装成Task，投递到业务线程池中，进行业务逻辑编排，示例代码如下：

Object message =null;

while(buffer.hasRemain())

{

byteBuffer.mark();

Object message = decode(byteBuffer);

if(message ==null)

{

byteBuffer.reset();

break;

}

messageList.add(message );

}

if(!byteBuffer.hasRemain())

byteBuffer.clear();

else byteBuffer.compact();

if(messageList !=null& !messageList.isEmpty())

{

for(Object messageE : messageList)

handlerTask(messageE);

}

步骤十三：将POJO对象encode成ByteBuffer，调用SocketChannel的异步write接口，将消息异步发送给客户端，示例代码如下：

完整代码：

package com.dxz.springsession.nio.demo6;import java.io.IOException;import java.net.InetAddress;import java.net.InetSocketAddress;import java.net.UnknownHostException;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import java.nio.channels.Selector;import java.nio.channels.ServerSocketChannel;import java.nio.channels.SocketChannel;import java.util.Iterator;import java.util.Set;publicclass NIOServer {

publicstaticvoidmain(String[] args)throws IOException {

newThread(new ReactorTask()).start();

}

publicstaticclassReactorTaskimplements Runnable {

private Selector selector;

public ReactorTask() {

try {

// 第一步：打开ServerSocketChannel，用于监听客户端的连接，它是所有客户端连接的父管道ServerSocketChannel acceptorSvr = ServerSocketChannel.open();

// 第二步：病毒监听端口，设置连接为非阻塞模式acceptorSvr.socket().bind(newInetSocketAddress(InetAddress.getByName("localhost"), 1234));

acceptorSvr.configureBlocking(false);

// 第三步：创建Reactor线程，创建多路复用器并启动线程selector = Selector.open();

// 第四步：将ServerSocketChannel注册到Reactor线程的多路复用器Selector上，监听Accept事件SelectionKey key = acceptorSvr.register(selector, SelectionKey.OP_ACCEPT);

} catch (UnknownHostException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

}

}

@Override

publicvoid run() {

// 第五步：在run方法中无限循环体内轮询准备就绪的Keywhile(true) {

try {

selector.select(1000);

Set selectedKeys = selector.selectedKeys();

Iterator it = selectedKeys.iterator();

SelectionKey key =null;

while (it.hasNext()) {

key = it.next();

it.remove();

try {

if (key.isValid()) {

// 处理新接入的请求消息if (key.isAcceptable()) {

// 第六步：多路复用器监听到有新的客户端接入，处理新的接入请求，完成TCP三次握手，建立物理链路ServerSocketChannel ssc = (ServerSocketChannel) key.channel();

SocketChannel sc = ssc.accept();

// 第七步：设置客户端链路为非阻塞模式sc.configureBlocking(false);

sc.socket().setReuseAddress(true);

// 第八步：将新接入的客户端连接注册到Reactor线程的多路复用器上，监听读操作，读取客户端发送的网络消息 sc.register(selector, SelectionKey.OP_READ);

}

if (key.isReadable()) {

// 第九步：异步读取客户端请求消息到缓存区SocketChannel sc = (SocketChannel) key.channel();

ByteBuffer readBuffer = ByteBuffer.allocate(1024);

intreadBytes = sc.read(readBuffer);

// 第十步：对ByteBuffer进行编解码，如果有半包消息指针reset，继续读取后续的报文if(readBytes > 0) {

readBuffer.flip();

byte[] bytes =newbyte[readBuffer.remaining()];

readBuffer.get(bytes);

String body =newString(bytes, "UTF-8");

System.out.println("The time server receive order : " + body);

String currentTime = "QUERY TIME ORDER".equalsIgnoreCase(body)

?new java.util.Date(System.currentTimeMillis()).toString()

: "BAD ORDER";

//写应答byte[] bytes2 = currentTime.getBytes();

ByteBuffer writeBuffer = ByteBuffer.allocate(bytes2.length);

writeBuffer.put(bytes2);

writeBuffer.flip();

sc.write(writeBuffer);

} elseif(readBytes < 0) {

// 对端链路关闭 key.cancel();

sc.close();

} else ; // 读到0字节，忽略 }

}

} catch (Exception e) {

if(key !=null) {

key.cancel();

if(key.channel() !=null)

key.channel().close();

}

}

}

} catch (Throwable t) {

t.printStackTrace();

}

}

}

}

}

客户端：

package com.dxz.springsession.nio.demo6;import java.io.IOException;import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import java.nio.channels.Selector;import java.nio.channels.SocketChannel;import java.util.Iterator;import java.util.Set;publicclassTimeClientHandleimplements Runnable {

private String host;

privateint port;

private Selector selector;

private SocketChannel socketChannel;

privatevolatileboolean stop;

publicTimeClientHandle(String host,int port) {

this.host = host ==null? "127.0.0.1" : host;

this.port = port;

try {

//第一步：打开SocketChannel,用于创建客户端连接socketChannel = SocketChannel.open();

//第二步：设置SocketChannel为非阻塞模式socketChannel.configureBlocking(false);

//第三步：创建多路复用器（在Reactor线程中）selector = Selector.open();

} catch (IOException e) {

e.printStackTrace();

System.exit(1);

}

}

@Override

publicvoid run() {

try {

// 第四步：socketChannel发起连接if(socketChannel.connect(new InetSocketAddress(host, port))) {

//第五步：如果直接连接成功，则注册到多路复用器上 socketChannel.register(selector, SelectionKey.OP_READ);

//第六步：发送请求消息，读应答byte[] req = "QUERY TIME ORDER".getBytes();

ByteBuffer writeBuffer = ByteBuffer.allocate(req.length);

writeBuffer.put(req);

writeBuffer.flip();

socketChannel.write(writeBuffer);

if(!writeBuffer.hasRemaining())

System.out.println("Send order 2 server succeed.");

} else socketChannel.register(selector, SelectionKey.OP_CONNECT);

} catch (IOException e) {

e.printStackTrace();

System.exit(1);

}

while(!stop) {

try {

//第七步：多路复用器在run的无限循环体内轮询准备就绪的Keyselector.select(1000);

Set selectedKeys = selector.selectedKeys();

Iterator it = selectedKeys.iterator();

SelectionKey key =null;

while (it.hasNext()) {

key = it.next();

it.remove();

try {

if (key.isValid()) {

//第八步：将连接成功的Channel注册到多路复用器上

// 判断是否连接成功SocketChannel sc = (SocketChannel) key.channel();

if (key.isConnectable()) {

if (sc.finishConnect()) {

sc.register(selector, SelectionKey.OP_READ);

//发送请求消息，读应答byte[] req = "QUERY TIME ORDER".getBytes();

ByteBuffer writeBuffer = ByteBuffer.allocate(req.length);

writeBuffer.put(req);

writeBuffer.flip();

sc.write(writeBuffer);

if(!writeBuffer.hasRemaining())

System.out.println("Send order 2 server succeed.");

} else System.exit(1);// 连接失败，进程退出 }

//监听读操作，读取服务端写回的网络信息if (key.isReadable()) {

//第九步：读取信息到缓冲区ByteBuffer readBuffer = ByteBuffer.allocate(1024);

intreadBytes = sc.read(readBuffer);

if(readBytes > 0) {

readBuffer.flip();

byte[] bytes =newbyte[readBuffer.remaining()];

readBuffer.get(bytes);

String body =newString(bytes, "UTF-8");

System.out.println("Now is : " + body);

this.stop =true;

} elseif(readBytes < 0) {

// 对端链路关闭 key.cancel();

sc.close();

} else ; // 读到0字节，忽略 }

}

} catch (Exception e) {

if(key !=null) {

key.cancel();

if(key.channel() !=null)

key.channel().close();

}

}

}

} catch (Exception e) {

e.printStackTrace();

System.exit(1);

}

}

// 多路复用器关闭后，所有注册在上面的Channel和Pipe等资源都会被自动去注册并关闭，所以不需要重复释放资源if(selector !=null)

try {

selector.close();

} catch (IOException e) {

e.printStackTrace();

}

}

}package com.dxz.springsession.nio.demo6;publicclass TimeClient {

/** * @param args

*/publicstaticvoid main(String[] args) {

intport = 1234;

if(args !=null&& args.length > 0) {

try {

port = Integer.valueOf(args[0]);

} catch (NumberFormatException e) {

// 采用默认值 }

}

newThread(newTimeClientHandle("127.0.0.1", port), "TimeClient-001")

.start();

}

}