链接：https://www.jianshu.com/p/4c35541eec10
Netty 作为一个网络框架，对 TCP 连接中的问题都做了全面的考虑，比如粘包拆包导致的半包问题，如何编解码，如何实现私有协议，序列化等等。
上一篇详细介绍了Netty的编解码的基本实现原理，本节将重点探讨网络编程中一种非常通用的协议设计方法论：协议头 + 消息体。
这类数据包协议比较常见，前几个字节表示数据包长度（不包括长度域），后面为具体数据 拆完后数据包是一个完整的带有长度域的数据包（之后即可传递到应用层解码器进行解码）， 创建一个如下方式的LengthFieldBasedFrameDecoder即可实现这类协议
1、HTTP 中有一个 Nagle 算法，每个报文都是一段的，使用网络发送发现网络效率低，然后 HTTP 设置一个算法，设置到一定程度发，所以出现一些延时，提高销量，所以形成了粘包
疫情当下、裁员浪潮，焦虑和不安充斥这个金三银四。 这个时候外部的各种变化愈发证明一个重要的一点：不断提升个人价值的重要性。 不是薪资层面的数字简单累积，而是一个人在职场里、在专业领域、在技术上的层层突破和能力塑造，从而建立自己的个人价值。 即使面对裁员，也依旧具备不可替代的竞争力；面临危机，也可能遇到新的机遇和更好的选择。 大的变化也可能有大的机会，任何时候都不要放弃学习和进阶。 这里和大家分享一份大神整理的Java核心知识点和面试官经常问到的知识点压压惊！整装重新出发也好，武装进入战斗也罢，希望都能帮到大
服务引用时流程会走到DubboProtocol#refer方法，之前篇章中没有提及Netty环节，本节补上
最近互联网大厂的”裁员潮“愈演愈烈…… 前段时间腾讯、阿里裁员，本以为只是”互联网倒春寒“，谁知不到一个月，京东多条业务线裁员，有赞的裁员比例高达70%，打工人的噩梦接连上演。 疫情当下、裁员浪潮，焦虑和不安充斥这个金三银四。 如何破局？ 我想最重要的一点：不断提升个人价值。 不是薪资层面的数字简单累积，而是一个人在职场里、在专业领域、在技术上的层层突破和能力塑造，从而建立自己的个人价值。 即使面对裁员，也依旧具备不可替代的竞争力；面临危机，也可能遇到新的机遇和更好的选择。 在这个当下，我花了一周时间，为大
首先我们可以看下这张最精简的网络流控的图，Producer 的吞吐率是 2MB/s，Consumer 是 1MB/s，这个时候我们就会发现在网络通信的时候我们的 Producer 的速度是比 Consumer 要快的，有 1MB/s 的这样的速度差，假定我们两端都有一个 Buffer，Producer 端有一个发送用的 Send Buffer，Consumer 端有一个接收用的 Receive Buffer，在网络端的吞吐率是 2MB/s，过了 5s 后我们的 Receive Buffer 可能就撑不住了，这时候会面临两种情况：
通过终端输入telnet localhost 8080后输入英文字符会得到响应，原字符返回。如依次输入abc，终端打印结果：
ByteBuf 是必须要掌握的核心工具类，并且能够理解 ByteBuf 的内部构造。ByteBuf 包含三个指针：读指针 readerIndex、写指针 writeIndex、最大容量 maxCapacity，根据指针的位置又可以将 ByteBuf 内部结构可以分为四个部分：废弃字节、可读字节、可写字节和可扩容字节。如下图所示。
如何灵活高效的接入？ 平台化 •搭建平台而不是搭建项目——做一个“淘宝”而不是做只针对某几项业务的网站 •从业务中抽象及通用——如果一种业务有可能在今后重复出现，那就将其模块化，系统化（如批处理系统），发展成为平台能力 动态化 •流程动态化——不同的业务类型对应的流程可以随意调整，无须调整代码 •代码动态化——采用groovy脚本动态调整线上代码，无须发版；规则配置除了使用各种灵活预配置外，还可以使用groovy脚本代码化规则；指标函数groovy化，不需要每次发版。 •配置动态化——配
•从业务中抽象及通用——如果一种业务有可能在今后重复出现，那就将其模块化，系统化（如批处理系统），发展成为平台能力
『码哥』的 Redis 系列文章有一篇讲透了 Redis 的性能优化 ——《Redis 核心篇：唯快不破的秘密》。深入地从 IO、线程、数据结构、编码等方面剖析了 Redis “快”的内部秘密。65 哥深受启发，在学习 Kafka 的过程中，发现 Kafka 也是一个性能十分优秀的中间件，遂要求『码哥』讲一讲 Kafka 性能优化方面的知识，所以『码哥』决定将这篇性能方面的博文作为 Kafka 系列的开篇之作。
『码哥』的 Redis 系列文章有一篇讲透了 Redis 的性能优化 ——《Redis 核心篇：唯快不破的秘密》。
以讲解性能作为 Kafka 之旅的开篇之作，让我们一起来深入了解 Kafka “快”的内部秘密。你不仅可以学习到 Kafka 性能优化的各种手段，也可以提炼出各种性能优化的方法论，这些方法论也可以应用到我们自己的项目之中，助力我们写出高性能的项目。
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
Elasticsearch 7.4.0 发布了，Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。
一天自己接手的一个日志透传模块出现大量直接内存OOM的异常日志告警，且不久进程出现僵死，服务不可用。关键错误日志如下：
Netty 是一款基于 NIO（Nonblocking I/O，非阻塞IO）开发的网络通信框架，对比于 BIO（Blocking I/O，阻塞IO），他的并发性能得到了很大提高。难能可贵的是，在保证快速和易用性的同时，并没有丧失可维护性和性能等优势。
Netty3出现了太多的内存垃圾，创建了过多对象，在大的服务端压力下会表现比较糟糕，做了太多的内存拷贝，在堆上创建对象，堆缓冲区，当往socket写内容时就需要做内存拷贝，拷贝到直接内存，然后交给socket所以做了太多内存拷贝。
最近一个圈内朋友通过私信告诉我，通过使用 Netty4 + Thrift 压缩二进制编解码技术，他们实现了 10W TPS（1K 的复杂 POJO 对象）的跨节点远程服务调用。相比于传统基于 Java 序列化 +BIO（同步阻塞 IO）的通信框架，性能提升了 8 倍多。
Tech 导读 本文介绍了长连接服务中使用Netty框架，对内存泄漏问题的排查、复现、解决的案例，是研发开发中非常典型的实战问题解决。同时本文介绍了Netty中对象的引用计数机制，并总结了Netty内存泄漏问题的排查方案。 （本文作者以第一人称视角写作）
原文：www.cnblogs.com/scy251147/p/10498008.html
反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为 瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和 消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafka consumer）的摄入速率。
为了提升消息接收和发送性能，Netty针对ByteBuf的申请和释放采用池化技术，通过PooledByteBufAllocator可以创建基于内存池分配的ByteBuf对象，这样就避免了每次消息读写都申请和释放ByteBuf。由于ByteBuf涉及byte[]数组的创建和销毁，对于性能要求苛刻的系统而言，重用ByteBuf带来的性能收益是非常可观的。
index.number_of_shards ：一个索引应该有的主分片（primary shards）数。默认是5。而且，只能在索引创建的时候设置。（注意，每个索引的主分片数不能超过1024。当然，这个设置也是可以改的，通过在集群的每个节点机器上设置系统属性来更改，例如：export ES_JAVA_OPTS="-Des.index.max_number_of_shards=128"）
本篇博文是《从0到1学习 Netty》中入门系列的第七篇博文，主要内容是介绍 Netty 中 ByteBuf 的性能优化，包含不同的内存模式，池化技术，内存释放以及逻辑上的切片与合并，通过源码分析和应用案例进行详细讲解，往期系列文章请访问博主的 Netty 专栏，博文中的所有代码全部收集在博主的 GitHub 仓库中；
Netty 作为一款高性能的网络框架，需要处理海量的字节数据，而且 Netty 默认提供了池化对象的内存分配，使用完后归还到内存池，所以一套高性能的内存管理机制是 Netty 必不可少的。在上节课中我们介绍了原生 jemalloc 的基本原理，而 Netty 高性能的内存管理也是借鉴 jemalloc 实现的，它同样需要解决两个经典的核心问题：
笔者最近回顾自己对Flink技术栈细节的理解，发现对Flink的网络栈、流控与反压这一套机制存在比较大的盲区。虽然平时多次处理过作业反压的问题，但是不完全理解背后的实现显然说不过去。于是专门写一篇总结，站在大佬们的肩膀上彻底搞清楚Flink是怎么做流控与处理反压的。
以上是摘自《Essential Netty In Action》这本书，本文的内容也是本人读了这本书之后的一些整理心得，如有不当之处欢迎大虾们指正
生产环境网关模块偶发的 OutOfDirectMemoryError 错误排查起来困难且曲折，2021-02-05号也出现过此问题，起初以为是 JVM 堆内存过小 (当时是 2g) 导致，后调整到8g(2月5号调整)。但是经过上次调整后5月7号又出现此问题，于是猜测可能是由于网关模块存在内存泄露导致。
在 Netty 中，所有的 I/O 操作都是异步的，这意味着任何 I/O 调用都会立即返回，而不是像传统 BIO 那样同步等待操作完成。异步操作会带来一个问题：调用者如何获取异步操作的结果？
Netty一个主要的目标就是促进“关注点分离”：使业务逻辑从网络基础设施应用程序中分离。不仅仅是Netty框架，其他框架的设计目的也大都是为了使业务程序和底层技术解耦，使程序员更加专注于业务逻辑实现，提高开发质量和效率。Netty为什么性能如此之高，主要是其内部的Reactor模型机制。
在 JDK 的 NIO 中，我们学习到了其原生的数据承载组件ByteBuffer。ByteBuffer的体验着实不太好，读写状态的区别，还有flip这种乍看下不直观的操作。
Netty是一个高性能、异步事件驱动的NIO框架，它提供了对TCP、UDP和文件传输的支持，作为一个异步NIO框架，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。
分部给到的异常日志大概是这样（鉴于公司规定禁止截图禁止拍照禁止外传任何信息，下面是我网上找到一张类似的报错）：
Netty是一个高性能、异步事件驱动的NIO框架，基于JAVA NIO提供的API实现。它提供了对TCP、UDP和文件传输的支持，作为一个异步NIO框架，Netty的所有IO操作都是异步非阻塞的，通过Future-Listener机制，用户可以方便的主动获取或者通过通知机制获得IO操作结果。 作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，一些业界著名的开源组件也基于Netty的NIO框架构建。
对于高性能的 RPC 框架，Netty 作为异步通信框架，几乎成为必备品。例如，Dubbo 框架中通信组件，还有 RocketMQ 中生产者和消费者的通信，都使用了 Netty。今天，我们来看看 Netty 的基本架构和原理。
1)、TCP面向连接（如打电话要先拨号建立连接）;UDP是无连接的，即发送数据之前不需要建立连接。
NIO中缓冲区是数据传输的基础，JDK通过ByteBuffer实现，Netty框架中并未采用JDK原生的ByteBuffer,而是构造了ByteBuf。
Netty 4.1提供了MQTT协议栈，基于此可以非常方便地创建MQTT服务，尽管开发简单，但是在实际环境中会面临各种挑战，甚至会面临一些不遵循MQTT规范的端侧设备接入。
netty作为一个优秀的的NIO框架，被广泛应用于各种服务器和框架中。同样是NIO，netty所依赖的JDK在1.4版本中早就提供nio的包，既然JDK已经有了nio的包，为什么netty还要再写一个呢？
在模拟OOM之前, 先简单说下Netty服务端向客户端发送数据的时候, 涉及两个存储数据的地方, 如下图所示
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
