专栏首页向治洪netty对http协议解析原理解析

netty对http协议解析原理解析

本文主要介绍netty对http协议解析原理,着重讲解keep-alive,gzip,truncked等机制,详细描述了netty如何实现对http解析的高性能。

1 http协议

1.1 描述

标示

ASCII

描述

字符

CR

13

Carriage return (回车)

\n

LF

10

Line feed character(换行)

\r

SP

32

Horizontal space(空格)

COLON

58

COLON(冒号)

:

http协议主要使用CRLF进行分割。

1.2 请求包

主要包含三部分:请求行(line),请求头(header),请求正文(body) 

请求行(Line):主要包含三部分:Method ,URI ,协议/版本。 各部分之间使用空格(SP)分割。整个请求头使用CRLF分割。(比如:POST /1.0.0/_health_check HTTP/1.1 CRLF)

请求头(Header): 格式为(name :value),用于客户端请求的描述信息。header之间以CRLF进行分割。最后一个header会多加一个CRLF。( 比如:Connection: keep-alive CRLF CRLF)

请求正文(body) :里面主要是Post提交的数据(可支持多种格式,格式在Content-Type定义,长度是在Content-Length里面定义)。 

1.3 响应包

主要包含三部分:状态行(line),响应头(header),响应正文(body)

状态行(line):包含三部分:http版本,服务器返回状态码,描述信息。以CRLF进行分割。 ( 比如:HTTP/1.1 200 OK CRLF)

响应头(header) : 格式为(name :value),用于服务器返回的描述信息。header之间以CRLF进行分割。最后一个header会多加一个CRLF (比如:Content-Type: text/html CRLF Content-Encoding:gzip CRLF CRLF) 

响应正文(body):里面主要是返回数据(可支持多种格式,格式在Content-Type定义,长度是在Content-Length里面定义)。 

2 chunked介绍

2.1 背景

     HTTP协议通常使用Content-Length来标识body的长度,在服务器端,需要先申请对应长度的buffer,然后再赋值。如果需要一边生产数据一边发送数据,就需要使用"Transfer-Encoding: chunked" 来代替Content-Length,也就是对数据进行分块传输。

2.2 Content-Length描述

       1:http server接收数据时,发现header中有Content-Length属性,则读取Content-Length 的值,确定需要读取body的长度。

       2:http server发送数据时,根据需要发送byte的长度,在header中增加 Content-Length 项,其中value为byte的长度,然后将byte数据当做body发送到客户端。

2.3 chunked描述

       1:http server接收数据时,发现header中有Transfer-Encoding: chunked,则会按照truncked协议分批读取数据。

       2:http server发送数据时,如果需要分批发送到客户端,则需要在header中加上 Transfer-Encoding: chunked,然后按照truncked协议分批发送数据。

2.4 truncked协议

       1:主要包含三部分:chunk,last-chunk和trailer。如果分多次发送,则chunk有多份。

       2:chunk主要包含大小和数据,大小表示这个这个trunck包的大小,使用16进制标示。其中trunk之间的分隔符为CRLF。

       3:通过last-chunk来标识chunk发送完成。 一般读取到last-chunk(内容为0)的时候,代表chunk发送完成。

       4:trailer 表示增加header等额外信息,一般情况下header是空。通过CRLF来标识整个chunked数据发送完成。

 2.5 优点

      1:假如body的长度是10K,对于Content-Length则需要申请10K连续的buffer,而对于Transfer-Encoding: chunked可以申请1k的空间,然后循环使用10次。节省了内存空间的开销。

      2:如果内容的长度不可知,则可使用trunked方式能有效的解决Content-Length的问题

      3:http服务器压缩可以采用分块压缩,而不是整个快压缩。分块压缩可以一边进行压缩,一般发送数据,来加快数据的传输时间。

 2.6 缺点

     1:truncked 协议解析比较复杂。

     2:在http转发的场景下(比如nginx) 难以处理,比如如何对分块数据进行转发。

3 压缩  

3.1 背景

     在http请求(特别是移动端),如果请求的资源比较多,则网络的开销会比较大,用户体验较差。则可以开启数据的无损压缩,节省传输的流量,提升数据的加载性能。

3.2 压缩类型

    1:压缩需要客户端,服务器端同时支持。在chrome中,请求默认会加上Accept-Encoding: gzip, deflate,客户端默认开启数据压缩。而tomcat默认关闭压缩,如果开启需要增加配置。

    2:在请求时,需要通过header的Accept-Encoding: gzip, deflate 来告诉服务器客户端支持的压缩类型。

    3:在返回时,http server会在返回的header中添加Content-Encoding: gzip 来告诉客户端数据的压缩方式。

    4:压缩类型主要包含如下几种:

gzip      说明body采用GNU zip编码

compress 说明body采用Unix的文件压缩程序

deflate  说明body是用zlib的格式压缩的

identity  说明没有对实体进行编码。

    其中 gzip, compress, 以及deflate编码都是无损压缩算法,不会导致信息损失。 gzip效率最高,使用较为广泛。

3.3 tomcat实现

     tomcat默认是关闭gzip压缩,开启需要在server.xml中的Connector标签中加如下配置:  

compression=”on” 打开压缩功能;

           compressionMinSize=”2048″ 启用压缩的阈值,只有数据量小于2048 才会对内容进行压缩;

           noCompressionUserAgents=”gozilla, traviata” 对于以下的浏览器,不启用压缩 ;

           compressableMimeType="text/html,text/xml,text/plain,text/css,text/javascript,text/json,application/x-javascript,application/javascript,application/json"  压缩类,只有Content-Type为设置的类型,才会进行压缩。

是否进行压缩主要是从:数据的大小,浏览器的类型和内容的类型来控制。

3.4 优点

      减少流量,帮公司节省带宽及流量,帮用户节省流量

      客户端(特别是移动端),加载速度变快,提升用户体验。

3.5 缺点

     服务器端需要更多的cpu资源进行计算,会降低服务器的整体吞吐量

     服务器端需要多申请更多的内存资源。数据1k的话,不开启压缩,只需要申请1k的buffer; 而开启压缩的话(假设压缩后的大小为250B),则需要多申请250B的buffer,并且涉及到数据的拷贝

    客户端也需要消耗更多的cpu来进行数据的解压缩。

4 keepalive

     具体可参考: http://blog.csdn.net/hetaohappy/article/details/51851880

5 粘包,拆包

5.1背景

    TCP是基于stream机制,其实就是一串没有边界的数据流。 这里主要面临两个问题:1:如何定义数据的边界 2:拆包和粘包的问题。HTTP协议是基于TCP,所以也会面临前面两个问题。

5.2 数据读取流程

   1:发送端发送数据,数据先通过网卡到服务端tcp的receive buffer中。服务端的上层应用如果需要读取数据,会申请一段业务buffer,调用JDK的IO接口,IO会将tcpreceive  buffer的数据拷贝到业务的buffer里面。上层业务再通过设定的反序列化协议将业务buffer转换成对象进行业务处理。

   2:服务端读取数据时,先申请一段业务buffer(大小一般是1k),通过调用JDK的channel.read(buffer) IO方法,IO会将tcp buffer的数据拷贝到业务buffer里面。返回值为读取字节的个数:如果返回值大于0,说明读取到了对应大小的数据;如果是0,表示没有读到数据,数据读取完成(可能业务buffer是满的,不能往里面写数据);如果是-1,代表tcp连接被关闭(一般处理是关闭到该连接)

  3:在java里面可以设置socket的SO_RCVBUF 参数来设置buffer的大小。默认值保存在:cat /proc/sys/net/core/rmem_default 也可通过cat /proc/sys/net/ipv4/tcp_wmem查看。

5.3 粘包拆包说明

  说明:假如服务端连续接收了4个包。 应用申请1k的buffer空间去读取tcp数据。读取的流程如下。

    1:业务先申请1k大小的业务buffer,先调用JDK IO接口,会拷贝Receive Buffer的1k数据到业务的buffer里面。

    2:每个包定义有边界。通过边界定义,读取到包1和包2分别进行反序列化的处理,转换为对象供上层应用处理。(解决粘包的问题)

    3:如下图:在读取到包3的时候,由于把buffer读完还没有发现边界。便将包3(剩下的10个)的数据拷贝到buffer的最前端。然后再调用JDK IO接口,tcp receive buffer拷贝数据是从业务buffer的第10个位置进行拷贝赋值。拷贝完后再读取包3的数据,直到边界(解决拆包的问题)

      4:然后读取包4,发现到边界后,并且数据没有可读的,则整个流程结束。

5.4 http解决方案:

      1:请求行的边界是CRLF,如果读取到CRLF,则意味着请求行的信息已经读取完成。

      2:Header的边界是CRLF,如果连续读取两个CRLF,则意味着header的信息读取完成。

      3:body的长度是有Content-Length 来进行确定。如果没有Content-Length ,则是chunked协议(具体参考前面的trunked协议)。

6 netty实现

6.1 http协议实现的抽象

      很多http server(比如tomcat,resin)的实现都是基于servlet,但是netty对http实现并没有基于servlet。

     下面将对请求request的抽象进行描述。 response对象的抽象比较类似,将不做描述。

        :

HttpMethod:主要是对method的封装,包含method序列化的操作

HttpVersion: 对version的封装,netty包含1.0和1.1的版本

QueryStringDecoder: 主要是对url进行封装,解析path和url上面的参数。(Tips:在tomcat中如果提交的post请求是application/x-www-form-urlencoded,则getParameter获取的是包含url后面和body里面所有的参数,而在netty中,获取的仅仅是url上面的参数)

HttpHeaders:包含对header的内容进行封装及操作

HttpContent:是对body进行封装,本质上就是一个ByteBuf。如果ByteBuf的长度是固定的,则请求的body过大,可能包含多个HttpContent,其中最后一个为LastHttpContent(空的HttpContent),用来说明body的结束。

HttpRequest:主要包含对Request Line和Header的组合

FullHttpRequest: 主要包含对HttpRequest和httpContent的组合

6.2 request的流程处理

6.2.1 实现:

   只需要在netty的pipeLine中配置HttpRequestDecoder和HttpObjectAggregator。

6.2.2 原理:

   1:如果把解析这块理解是一个黑盒的话,则输入是ByteBuf,输出是FullHttpRequest。通过该对象便可获取到所有与http协议有关的信息。

    2:HttpRequestDecoder先通过RequestLine和Header解析成HttpRequest对象,传入到HttpObjectAggregator。然后再通过body解析出httpContent对象,传入到HttpObjectAggregator。当HttpObjectAggregator发现是LastHttpContent,则代表http协议解析完成,封装FullHttpRequest。

   3:对于body内容的读取涉及到Content-Length和trunked两种方式。两种方式只是在解析协议时处理的不一致,最终输出是一致的。

6.2.3 面临的问题:

     1:假设申请的ByteBuf为1k,如果读取request Line,把ByteBuf都读取完了还没有发现边界(CRLF),如何处理?

     一般的做法为:先申请1k大小的ByteBuf,如果发现当前ByteBuf大小不够。 一般会再申请之前大小2倍的ByteBuf(也就是2k),然后把之前1k的数据拷贝到新申请的2k的空间里面,然后再到JDK的io中读取数据。如果再不够用,则再申请2倍的byteBuf。  如果数据量比较大,会面临着申请新空间->拷贝数据->申请更大的空间->再拷贝数据....   。该种方案性能极其低下,如何提升性能?

    2:如果申请的buffer在堆上面,由于该buffer存活周期很短,会造成频繁的GC,影响系统性能。

6.2.4 性能优化:

    1:使用堆外内存,也就是DirectBuffer。来减少GC的次数。

    2:使用buffer pool,避免频繁的申请及释放内存。一般pool有两层,ThreadLocal的pool和全局的pool。 申请buffer空间时,先看ThreadLocal是否有未使用的buffer,如果没有,再从全局的pool中获取buffer。一般的内存管理策略是pool里面的buffer大小全部一致(比如1k),但是 如果需要申请2k的空间,必须要新建2k空间的buffer。如果频繁申请大于1K空间内存,则性能比较低下。 netty为了解决该问题,使用了较为复杂的内存管理策略,具体可参考 http://blog.csdn.net/youaremoon/article/details/47910971

    3:零拷贝:前面提到拷贝数据的性能问题,采用零拷贝机制可有效解决该问题

 CompositeByteBuf(组合): 比如读取request Line,申请1k的空间ByteBuf,如果没有发现边界(CRLF)。再申请1k的空间ByteBuf到JDK的io中读取数据。将老的ByteBuf和新申请的ByteBuf组合成CompositeByteBuf,更改CompositeByteBuf的读写指针来避免数据的拷贝。

slice(切分):  比如在1k的ByteBuf里面先读取requestLine,Header进行解析对象,最后读取body。由于body的数据还需要保存在内存里面供业务使用。一般的做法是新申请一块空间,将body的数据拷贝到新申请的空间上。这里通过虚拟一个ByteBuf,然后将读写的指针指向真实的ByteBuf的body区域上面,来避免数据的拷贝。

6.3 response的流程处理

6.3.1实现

   只需要在netty的pipeLine中配置HttpResponseEncoder 

6.3.2原理

     1:输入是FullHttpResponse对象,输出是ByteBuf。socket再将ByteBuf数据发送到访问端。

     2:对FullHttpResponse按照http协议进行序列化。判断header里面是ContentLength还是Trunked,然后body按照相应的协议进行序列化。 

     3:具体原理和request请求方式比较类似,这次不再详细描述。    

6.4 压缩实现

6.4.1 实现

       在HttpResponseEncoder之前加上 HttpContentCompressor 。response对象先进过HttpContentCompressor 压缩后,再经过HttpResponseEncoder进行序列化。

       1:压缩主要是针对body进行压缩。http1.1不支持对header的压缩。

        2:压缩后body的输出是trunked,而不是Content-length的形式。

6.4.2 Gzip格式

      gzip压缩后主要包含三部分:

      gzip头:主要存储的是gzip的压缩方式

      deflate编码:内容采用的是deflate压缩算法

      gzip尾:主要是采用CRC32算法对编码内容进行校验。

7 安全配置

参数

推荐

返回错误码

描述

requst Line size

2k

414

主要是限制url的长度

header size

4k

414

避免header过长

body size

60M

413

此处一般和业务关联,一般设置相对较大

keepalive timeout

75

如果连接在设定时间内没有使用,则关闭掉连接,避免维护的连接过多

GET和POST的区别,笔者之前理解的其中一项是:get的url长度有限制,post的body长度没有限制。   

其实这种理解是有偏差的:不管是url长度限制或者body长度限制都是有后端http容器配置的。 body的长度限制一般比get的url长度限制稍大。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • InvocationTargetException异常解析

    InvocationTargetException异常由Method.invoke(obj, args...)方法抛出。当被调用的方法的内部抛出了异常而没有被捕...

    xiangzhihong
  • Flutter环境搭建

    这几年,移动跨平台的趋势可以说是越来越明显,技术实现上也是百花争艳,不过究其实现,无外乎有那么几种。 Web 流:也被称为 Hybrid 技术,它基于 Web ...

    xiangzhihong
  • mac 搭建Android开发环境

    在mac上搭建Android环境和在window上大体相同,不过就是在做环境变量配置等方面有自己独到的方式,那么我们今天就讲一下在mac系统下搭建Android...

    xiangzhihong
  • 无人驾驶技术课——感知(2)

    在感知部分的课程中,我们将首先介绍计算机视觉的基本应用领域;再进一步了解机器学习、神经网络和卷积神经网络的基础知识;随后我们将讨论感知模块在无人车中的具体任务;...

    刘盼
  • IntelliJ IDEA 运行项目的时候提示 Command line is too long 错误

    这时候你需要调整运行项目的配置,将 Configuration 中的 Shorten Command Line 修改为 JAR 就可以了。

    HoneyMoose
  • IntelliJ IDEA 运行项目的时候提示 Command line is too long 错误

    这时候你需要调整运行项目的配置,将 Configuration 中的 Shorten Command Line 修改为 JAR 就可以了。

    HoneyMoose
  • 达观数据:5分钟带你理解机器学习及分类算法

    机器学习是什么?机器学习是从历史数据(历史经验)中获取模型(规律),并将其应用到新的类似场景中。 举个很简单的例子:

    达观数据
  • API是什么意思,不懂技术看不懂?

    API是应用程序编程接口的缩写,它是一个软件中介,可以实现两个应用程序间的相互对话。当你使用类似微博或腾讯QQ发送即时信息或在手机上查看天气时,API都起到了重...

    用户4677291
  • 了解Java中的内存泄漏

    原文链接:https://www.baeldung.com/java-memory-leaks

    慕容千语
  • 安全通信TLS介绍

    现在我们每天都离不开网络,计算机之间的通信安全是怎么保证的。在这篇文章中,将介绍TLS技术是怎么为安全的通信保驾护航的。

    暮雨

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动