Netty Review - 快速上手篇

小小工匠

发布于 2023-11-14 10:27:29

2170

发布于 2023-11-14 10:27:29

文章被收录于专栏：小工匠聊架构

基础概念

BIO、NIO和AIO这三个概念分别对应三种通讯模型：阻塞、非阻塞、非阻塞异步

BIO：一个连接一个线程，客户端有连接请求时服务器端就需要启动一个线程进行处理,线程开销大。
NIO：一个请求一个线程，客户端发送的连接请求会注册到多路复用器上，多路复用器轮询到该连接有I/O请求时才启动一个线程进行处理；
AIO：一个有效请求一个线程，客户端的I/O请求都是由OS先完成了再通知服务器应用去启动线程进行处理

通俗地概括一下就是：

1）BIO是面向流的，NIO是面向缓冲区的；
2）BIO的各种流是阻塞的，而NIO是非阻塞的；
3）BIO的Stream是单向的，而NIO的channel是双向的。

NIO的的显著特点：事件驱动模型、单线程处理多任务、非阻塞I/O，I/O读写不再阻塞，而是返回0、基于block的传输比基于流的传输更高效、更高级的IO函数zero-copy、IO多路复用大大提高了Java网络应用的可伸缩性和实用性。基于Reactor线程模型。

官网

https://netty.io/

What’s Netty

Netty是一个Java NIO技术的开源异步事件驱动的网络编程框架，用于快速开发可维护的高性能协议服务器和客户端。通俗一点就是一个将Java NIO进行了大量封装，并大大降低Java NIO使用难度和上手门槛的超牛逼框架。

Why Netty

1）高并发：基于 NIO（Nonblocking IO，非阻塞IO）开发，对比于 BIO（Blocking I/O，阻塞IO），他的并发性能得到了很大提高；
2）传输快：传输依赖于零拷贝特性，尽量减少不必要的内存拷贝，实现了更高效率的传输；
3）封装好：封装了 NIO 操作的很多细节，提供了易于使用调用接口

Netty的优势: 1）使用简单：封装了 NIO 的很多细节，使用更简单； 2）功能强大：预置了多种编解码功能，支持多种主流协议； 3）扩展性强：可以通过 ChannelHandler 对通信框架进行灵活地扩展； 4）性能优异：通过与其他业界主流的 NIO 框架对比，Netty 的综合性能最优； 5）运行稳定：Netty 修复了已经发现的所有 NIO 的 bug，让开发人员可以专注于业务本身； 6）社区活跃：Netty 是活跃的开源项目，版本迭代周期短，bug 修复速度快

Netty高性能表现在哪些方面？

1）IO 线程模型：同步非阻塞，用最少的资源做更多的事； 2）内存零拷贝：尽量减少不必要的内存拷贝，实现了更高效率的传输； 3）内存池设计：申请的内存可以重用，主要指直接内存。内部实现是用一颗二叉查找树管理内存分配情况； 4）串形化处理读写：避免使用锁带来的性能开销； 5）高性能序列化协议：支持 protobuf 等高性能序列化协议

更多请移步：Netty - 回顾Netty高性能原理和框架架构解析

About Netty Author & Leader

Netty的创始人是韩国人Trustin Lee，80年出生，8岁起在MSX迷你计算机上编写BASIC程序，爱好游戏编程以及使用汇编、C和C++解决编程问题，1998年获得韩国信息奥林匹克竞赛铜牌。

就读于韩国Yonsei大学计算机系期间，曾为多家公司编写高性能网络应用以及少量的web程序，毕业后，就职于Arreo通讯公司，该公司为韩国最大的移动短信提供商之一。

他现在韩国line公司工作（据他个人博客显示，他以于2020年8月底从Line离职了），早前应用较多的Mina也是这牛人的作品

个人博客：https://t.motd.kr/
Github：https://github.com/trustin

Netty目前的项目leader是德国人Norman Maurer（之前在Redhat，全职开发Netty）,也是《Netty in Action》的作者，目前是苹果公司高级工程师

个人博客：http://normanmaurer.me/
Github：https://github.com/normanmaurer

What can Netty do

一方面：现在物联网的应用无处不在，大量的项目都牵涉到应用传感器和服务器端的数据通信，Netty作为基础通信组件、能够轻松解决之前有较高门槛的通信系统开发，你不用再为如何解析各类简单、或复杂的通讯协议而薅头发了
另一方面：现在互联网系统讲究的都是高并发、分布式、微服务，各类消息满天飞（IM系统、消息推送系统就是其中的典型），Netty在这类架构里面的应用可谓是如鱼得水，如果你对当前的各种应用服务器不爽，那么完全可以基于Netty来实现自己的HTTP服务器、FTP服务器、UDP服务器、RPC服务器、WebSocket服务器、Redis的Proxy服务器、MySQL的Proxy服务器等等

Netty开发流程

Flow HL View

Netty开发的基本套路很简洁，服务器端和客户端都是这样。

大致的套路基本如下：

客户端开发

Handler

首先创建Handler类，该类用于接收服务器端发送的数据，这是一个简化的类，只重写了消息读取方法channelRead0、捕捉异常方法exceptionCaught

客户端的Handler一般继承的是SimpleChannelInboundHandler，该类有丰富的方法，心跳、超时检测、连接状态等等

package com.artisan.netty.client;

import io.netty.buffer.ByteBuf;
import io.netty.channel.ChannelHandler;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.SimpleChannelInboundHandler;
import io.netty.util.CharsetUtil;

/**
 * @author 小工匠
 * @version 1.0
 * @desc: 通用handler，处理I/O事件
 * @mark: show me the code , change the world
 */

@ChannelHandler.Sharable
public class HandlerClientHello extends SimpleChannelInboundHandler<ByteBuf> {

    @Override
    protected void channelRead0(ChannelHandlerContext channelHandlerContext, ByteBuf byteBuf) throws Exception {

        /**
         * @Description 处理接收到的消息
         **/
        System.out.println("接收到的消息：" + byteBuf.toString(CharsetUtil.UTF_8));
    }

    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        /**
         * @Description 处理I/O事件的异常
         **/
        cause.printStackTrace();
        ctx.close();
    }
}

1）@ChannelHandler.Sharable：这个注解是为了线程安全，如果不在乎是否线程安全，不加也可以；
2）SimpleChannelInboundHandler：这里的类型可以是ByteBuf，也可以是String，还可以是对象，根据实际情况来；
3）channelRead0：消息读取方法，注意名称中有个0；
4）ChannelHandlerContext：通道上下文，代指Channel；
5）ByteBuf：字节序列，通过ByteBuf操作基础的字节数组和缓冲区，因为JDK原生操作字节麻烦、效率低，所以Netty对字节的操作进行了封装，实现了指数级的性能提升，同时使用更加便利；
6）CharsetUtil.UTF_8：指定字节数组转换为字符串时的编码格式

客户端启动类

客户端启动类根据服务器端的IP和端口，建立连接，连接建立后，实现消息的双向传输。

package com.artisan.netty.client;

import io.netty.bootstrap.Bootstrap;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioSocketChannel;
import io.netty.util.CharsetUtil;

import java.net.InetSocketAddress;

/**
 * @author 小工匠
 * @version 1.0
 * @desc: 客户端启动类
 * @mark: show me the code , change the world
 */
public class AppClientHello {

    private final String host;
    private final int port;


    public AppClientHello(String host, int port) {
        this.host = host;
        this.port = port;
    }


    /**
     * 配置相应的参数，提供连接远端的方法
     */
    public void run() throws Exception {

        // I/O线程池
        EventLoopGroup eventLoopGroup = new NioEventLoopGroup();

        try {
            // 客户端辅助启动类
            Bootstrap bootstrap = new Bootstrap();
            bootstrap.group(eventLoopGroup)
                    // 实例化一个Channel
                    .channel(NioSocketChannel.class)
                    // 指定远端地址
                    .remoteAddress(new InetSocketAddress(host, port))
                    // 进行通道初始化配置
                    .handler(new ChannelInitializer<SocketChannel>() {
                        @Override
                        protected void initChannel(SocketChannel socketChannel) throws Exception {
                            //添加我们自定义的Handler
                            socketChannel.pipeline().addLast(new HandlerClientHello());
                        }
                    });

            // 连接到远端，等待完成
            ChannelFuture future = bootstrap.connect().sync();

            // 发送消息到服务器，指定编码格式为UTF-8
            future.channel().writeAndFlush(Unpooled.copiedBuffer("Hello Artisan", CharsetUtil.UTF_8));

            // 阻塞操作，closeFuture()开启了一个channel的监听器（这期间channel在进行各项工作），直到链路断开
            future.channel().closeFuture().sync();
        } finally {
            eventLoopGroup.shutdownGracefully().sync();
        }
    }

    public static void main(String[] args) throws Exception {
        new AppClientHello("127.0.0.1", 18080).run();
    }
}

1）ChannelInitializer：通道Channel的初始化工作，如加入多个handler，都在这里进行；
2）bs.connect().sync()：这里的sync()表示采用的同步方法，这样连接建立成功后，才继续往下执行；
3）pipeline()：连接建立后，都会自动创建一个管道pipeline，这个管道也被称为责任链，保证顺序执行，同时又可以灵活的配置各类Handler，这是一个很精妙的设计，既减少了线程切换带来的资源开销、避免好多麻烦事，同时性能又得到了极大增强

服务端开发

Handler

和客户端一样，只重写了消息读取方法channelRead(注意这里不是channelRead0)、捕捉异常方法exceptionCaught

另外服务器端Handler继承的是ChannelInboundHandlerAdapter，而不是SimpleChannelInboundHandler

package com.artisan.netty.server;

import io.netty.buffer.ByteBuf;
import io.netty.buffer.Unpooled;
import io.netty.channel.ChannelHandler;
import io.netty.channel.ChannelHandlerContext;
import io.netty.channel.ChannelInboundHandlerAdapter;
import io.netty.util.CharsetUtil;

/**
 * @author 小工匠
 * @version 1.0
 * @desc: 服务器端I/O处理类
 * @mark: show me the code , change the world
 */

@ChannelHandler.Sharable
public class HandlerServerHello extends ChannelInboundHandlerAdapter {

    @Override
    public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
        // 处理接收到的数据，并反馈给客户端
        ByteBuf in = (ByteBuf) msg;
        System.out.println("收到客户端发过来的消息: " + in.toString(CharsetUtil.UTF_8));

        // 写入并发送到远端(客户端)
        ctx.channel().writeAndFlush(Unpooled.copiedBuffer("你好，我是Server，已收到消息", CharsetUtil.UTF_8));

    }


    @Override
    public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exception {
        //出现异常的时候执行的动作（打印并关闭通道）
        cause.printStackTrace();
        ctx.close();
    }
}

服务器端启动类

服务器端启动类比客户端启动类稍显复杂一点

package com.artisan.netty.server;

import com.artisan.netty.client.AppClientHello;
import io.netty.bootstrap.ServerBootstrap;
import io.netty.channel.Channel;
import io.netty.channel.ChannelFuture;
import io.netty.channel.ChannelInitializer;
import io.netty.channel.EventLoopGroup;
import io.netty.channel.nio.NioEventLoopGroup;
import io.netty.channel.socket.SocketChannel;
import io.netty.channel.socket.nio.NioServerSocketChannel;

/**
 * @author 小工匠
 * @version 1.0
 * @description: 服务器端启动类
 * @mark: show me the code , change the world
 */
public class AppServerHello {

    private int port;

    public AppServerHello(int port) {
        this.port = port;
    }


    public void run() throws InterruptedException {
        // Netty的Reactor线程池，初始化了一个NioEventLoop数组，用来处理I/O操作,如接受新的连接和读/写数据
        EventLoopGroup group = new NioEventLoopGroup();

        try {
            // 启动NIO服务
            ServerBootstrap serverBootstrap = new ServerBootstrap();

            // 参数配置
            serverBootstrap.group(group)
                    //通过工厂方法设计模式实例化一个channel
                    .channel(NioServerSocketChannel.class)
                    //设置监听端口
                    .localAddress(port)
                    //配置childHandler来通知一个关于消息处理的InfoServerHandler实例
                    .childHandler(new ChannelInitializer<SocketChannel>() {  //ChannelInitializer是一个特殊的处理类，他的目的是帮助使用者配置一个新的Channel,用于把许多自定义的处理类增加到pipline上来
                        @Override
                        protected void initChannel(SocketChannel socketChannel) throws Exception {
                            socketChannel.pipeline().addLast(new HandlerServerHello());
                        }
                    });


            // 绑定服务器，该实例将提供有关IO操作的结果或状态的信息
            ChannelFuture future = serverBootstrap.bind(port).sync();
            System.out.println("在" + future.channel().localAddress() + "上开启监听");


            //阻塞操作，closeFuture()开启了一个channel的监听器（这期间channel在进行各项工作），直到链路断开
            future.channel().closeFuture().sync();

        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        } finally {
            group.shutdownGracefully().sync();//关闭EventLoopGroup并释放所有资源，包括所有创建的线程
        }
    }

    public static void main(String[] args) throws InterruptedException {
        new AppServerHello(18080).run();
    }
}

1）EventLoopGroup：实际项目中，这里创建两个EventLoopGroup的实例，一个负责接收客户端的连接，另一个负责处理消息I/O，这里为了简单展示流程，让一个实例把这两方面的活都干了；
2）NioServerSocketChannel：通过工厂通过工厂方法设计模式实例化一个channel，这个在大家还没有能够熟练使用Netty进行项目开发的情况下，不用去深究