专栏首页芋道源码1024当 HTTP 连接池遇上 KeepAlive 时

当 HTTP 连接池遇上 KeepAlive 时

来源:http://t.cn/E4J2p8i

  • 1. 连接种类
  • 2 keepalive机制
  • 3. tomcat8对keepalive的实现
  • 4. 连接池对keepalive的处理
  • 5. Connection reset by peer异常

艿艿:看到 Connection reset by peer 异常,会不会头疼???


最近在使用netty作为http客户端通过pool连接tomcat的时候,出现了很多Connection reset by peer 的IOException的异常。便对问题的根源做了细致的调研。

1. 连接种类

一般连接主要分为长连接,短连接和http的keepalive连接。

1.1 长连接:建立完连接后,该连接不再进行释放。

  • 优点
    • 性能较高,不需要重复建立tcp连接或者关闭tcp连接
    • 基本上不会出现CLOSE_WAIT和TIME_WAIT的问题
  • 缺点:一般需要一个连接池来维护长连接(一般有数据库连接池,http的连接池等) 复杂度较高

1.2 短连接:每次请求均需要tcp三次握手建立连接,业务执行,tcp四次挥手关闭连接。

  • 优点:实现简单。
  • 缺点:
    • 性能较差。大部分都是tcp层面上的交互(新建和关闭tcp连接)
    • 系统会出现大量的tcp的状态是:TIME_WAIT 如果没有设置SO_RESUSEADDR ,很容易出现端口被占满的情况。(在关闭完连接时,tcp状态是TIME_WAIT,只有等2个MSL后,才会进行close掉)

1.3 http的keepalive:用于http协议。在http 1.1中,为了解决长连接提出的。

  • 优点:用于维护长连接,提升性能
  • 缺点:需要在header中进行控制,需要交互控制,相对复杂。

2 keepalive机制

提到keepalive, 容易对下面三种机制混淆:

  • keepalived
  • tcp 的 keepalive
  • http 的 keepalive

2.1 keepalived

用途:高可用,一般是和lvs一起使用。

具体可参考:http://outofmemory.cn/wiki/keepalived-configuration

2.2 tcp的keepalive

用途:socket连接的保活。在新建socket的时候,可以设置SO_KEEPALIVE 进行打开。

keepalive主要有三个参数:

  • tcp_keepalive_time: 一个连接需要TCP开始发送keepalive探测数据包之前的空闲时间。以秒为单位
  • tcp_keepalive_probes: 发送TCP keepalive探测数据包的最大数量,默认是9.如果发送9个keepalive探测包后对端仍然没有响应,便发送RST关闭掉连接。
  • tcp_keepalive_intvl: 发送两个TCP keepalive探测数据包的间隔时间,默认是75秒

2.3 http的 keepalive

用途:http的长连接,在http 1.0中使用的为短连接:每一次请求均需要新建tcp连接,http协议数据的发送接收,关闭tcp连接。 该种机制性能很 低,在http 1.1协议中引入了keepalive机制来保持tcp连接。

在http1.0中,全部是短连接,如果想建立长连接,需要在header里面加上keepalive,这样web服务器看到这个字段,不会立马关闭连接。而是将tcp连接维持一段时间。如果需要关闭,则在header中写 keepalive close,来告诉 客户端需要关闭该连接。

在http1.1中,默认会实现keepalive,如果使用的是http1.1协议,header是不需要加上keepalive的。

3. tomcat8对keepalive的实现

3.1 http 1.0实现

tomcat8中,如果发送的是http1.0的协议。 tomcat8返回的均是1.1的协议。并且不管请求的header有没有Connection:keepalive ,均会在返回的header中加上connection:close 。下面是访问tomcat8的截图:

  • GET请求是http 1.0,但是返回的是1.1的协议:

img

  • 返回的header里面有Connection:close

img

3.2 http 1.1实现

tomcat8主要有两个参数来控制keepalive的机制。keepAliveTimeout 和maxKeepAliveRequests

  • keepAliveTimeout: 默认和soTimeout 值保持一致,该值为20000ms,也就是在这么长时间内没有通信,tomcat会关闭掉该连接。设置为-1 则代表不会关闭该连接。
  • maxKeepAliveRequests :默认为100,也就是在keepAliveTimeout时间内,如果使用次数超过100,则会关闭掉该连接。设置为-1,则代表不会关闭连接。在关闭后,会在返回的header上面加上Connection:close 。

如果需要tomcat保持长连接:可配置 maxKeepAliveRequests = "-1" keepAliveTimeout=-"-1" ,则tomcat8不会关闭掉该连接。

4. 连接池对keepalive的处理

主要需要处理两个地方:

  • 1:maxKeepAliveRequests 连接达到默认的设置次数。则会在header上面加Connection:close。
    • 在接收web服务器返回的数据时,需要检查一下header里面是否有Connection:close,如果close,则需要将该连接从连接池里物理关闭掉。否则容易出现connection reset by peer的异常。
  • 2:keepAliveTimeout 超过该时间没有流量,则会关闭掉连接。
    • tomcat在连接空闲超过该时间后,会主动关闭掉连接。会向客户端发送FIN命令。

如果是IO(同步socket):则在获取连接的时候需要检查一下该socket的连接状态。 因为tcp在底层已经关闭了该连接。 如果不检查的话,则会SocketCloseException的错误。

如果是NIO(异步channel) :则在selector的时候,read数据的时候,会返回-1,然后将该连接从连接池给物理关闭掉。

5. Connection reset by peer异常

异常场景

  • 1: 当我们往一个对端已经close的通道写数据的时候,对方的tcp会收到这个报文,并且反馈一个reset报文,当收到reset报文的时候,继续做select读数据的时候就会抛出Connect reset by peer的异常。该异常为jdk抛出的异常。在native代码里面抛出。
  • 2:尝试和未开放的服务器端口建立tcp连接时,服务器tcp将会直接向客户端发送reset报文
  • 3:ack报文丢失,并且超出一定的重传次数或时间后,会主动向对端发送reset报文释放该TCP连接

连接池出现该异常分析

  • 1:由于客户端在收到Connection:close的header时候并没有物理关闭该连接,而是将该连接返回到了连接池中。
  • 2:下一个请求拿到该连接发送数据,由于tomcat的该socket通道已经关闭,tomcat接收到该连接时,便会回复一个RST。
  • 3:客户端在读取数据(RST的时候,内部会调用(JDK)SocketChannel.read的时候抛出 java.io.IOException(Connection reset by peer)

本文分享自微信公众号 - 芋道源码(YunaiV)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Nginx 入门到实战

    Nginx是一个开源且高性能、可靠的HTTP中间件、代理服务 其他的HTTP服务:

    芋道源码
  • 基于 Netty 如何实现高性能的 HTTP Client 的连接池

    使用netty作为http的客户端,pool又该如何进行设计。本文将会进行详细的描述。

    芋道源码
  • 最近学习了 HTTP 连接池

    6.1大促值班发现的一个问题,一个rpc接口在0~2点用户下单高峰的时候表现rt高(超过1s,实际上针对性优化过的接口rt超过这个值也是有问题的,通常rpc接口...

    芋道源码
  • ADO.NET入门教程(四) 品味Connection对象

    摘要 前几篇文章,我都没有详细讲解Data Provider核心对象,因为我希望在讲解这些对象之前,让大家对一些基础的概念有很好的认识。在上一篇文章《你必须知道...

    刘皓
  • Openresty主动关闭连接与KeepAlive Requests

    01最近客户端(APP)换了新的网络库,几轮测试下来,功能和性能上都是正常的,只是网络库对应的日志里会有连接被关闭的提示,开始以为新的网络库踩到坑了,客户端的同...

    糖果
  • 【小技巧】通过SD卡传文件到开发板就是这么简单!

    4.    打开SecureCRT(在资料光盘->windows工具目录),如下设置连接串口

    韦东山
  • [deepin][docker]deepin-docker爬坑之路

    landv
  • 『中级篇』 Docker Bridge详解(26)

    IT故事会
  • 通用AlphaGo诞生?DeepMind的MuZero在多种棋类游戏中超越人类

    MuZero 算法在国际象棋、日本将棋、围棋和雅达利(Atari)游戏训练中的评估结果。横坐标表示训练步骤数量,纵坐标表示 Elo评分。黄色线代表 AlphaZ...

    机器之心
  • 学界 | 百度提出冷聚变方法:使用语言模型训练Seq2Seq模型

    选自arXiv 机器之心编译 参与:路雪、蒋思源 近日,百度研究院发表论文提出冷聚变(Cold Fusion)方法,即在 Seq2Seq 模型训练过程中加入语言...

    机器之心

扫码关注云+社区

领取腾讯云代金券