前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >分布式 | DBLE 网络模块源码解析(一):网络 IO 基础知识

分布式 | DBLE 网络模块源码解析(一):网络 IO 基础知识

作者头像
爱可生开源社区
发布2020-12-30 16:18:02
3390
发布2020-12-30 16:18:02
举报
文章被收录于专栏:爱可生开源社区

作者:路路

热爱技术、乐于分享的技术人,目前主要从事数据库相关技术的研究。

本文来源:原创投稿

*爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。


前言

对于计算机学科来说,计算机网络相关知识的重要性不言而喻。平时我们框架用的多了,对于底层网络 IO 的处理关注的并不算多(如果不让你用 Spring,你还能写出个 Web 接口吗?),但对于中间件以及框架的开发者来说,网络 IO 的处理却是最需要关注的地方。

DBLE 的网络模块没有用任何框架,完全是通过原生 JDK 纯手写的。研读 DBLE 网络模块的源码,能够让你对网络 IO 的处理有更进一步的理解。为什么连接 DBLE 能够像连接 MySQL 一样?为什么 DBLE 的性能能够如此高?希望通过本系列文章,能够帮助大家对DBLE的网络模块有更深入的了解,更进一步,希望能够帮助大家对高性能网络 IO 有更深入的了解。

本篇作为 《DBLE 网络模块源码解析》的第一篇,主要讲讲网络 IO 的基础知识。

一、TCP/IP 协议栈

TCP/IP 协议在一定程度上参考了 OSI 的体系结构。OSI 模型共有七层,从下到上分别是物理层、数据链路层、网络层、运输层、会话层、表示层和应用层。但是这显然是有些复杂的,所以在 TCP/IP 协议中,它们被简化为了四个层次,从下到上依次是链路层、网络层、传输层和应用层。

不同层之间的数据封装如下图所示:

TCP/IP 协议栈不同层之间的数据封装

从上图可以看出上一层的协议数据都是作为下一层协议的消息体来传输的。所以协议从上到下,是一层一层封装的结构。

二、MySQL 协议

MySQL 协议在 TCP/IP 协议栈中是处于应用层这一层。从而能够知道 MySQL 协议数据是作为 TCP 协议中的消息体部分来传输的。

因为 TCP 为面向流的协议,没有界限,会存在粘包拆包问题,需要在应用层解决。常见的解决方法有:

1. 消息定长,例如每个报文的大小为固定长度 100 字节,如果不够,空位补空格;

2. 在包尾增加回车换行符进行分割,例如 FTP 协议;

3. 将消息分为消息头和消息体,消息头中包含表示消息总长度(或者消息体长度)的字段;

4. 更复杂的应用层协议。

MySQL 协议是通过消息定长和在消息头中包含消息体长度字段的方法来解决 TCP 粘包问题的。如下图所示:

https://dev.mysql.com/doc/dev/mysql-server/latest/page_protocol_basic_packets.html

MySQL协议

连接 DBLE 既然能像连接 MySQL 一样,那 DBLE 一定要能够处理 MySQL 的数据包,如何处理这些数据包在代码里都有体现,我将在网络模块源码解析里详细讲解 DBLE 对于 MySQL 数据包的处理。

三、BIO 与 NIO

DBLE 性能能够如此之高,与它的高性能网络 IO 处理离不开关系。DBLE 中处理前端客户端连接及后端 MySQL 数据库连接都使用了 NIO 的方式,即 IO 多路复用技术

在网络连接数较少的情况下通过 BIO+ 多线程的方式也能够比较快速的处理请求,但随着连接数的增多,线程间的切换带来的性能损耗将大于多线程处理带来的性能提升,从而导致整体性能下降。

而 NIO 即 IO 多路复用技术,能够通过少量线程管理更多的连接。NIO 不会为每个连接创建一个处理线程,而只是在连接有数据的时候进行处理。NIO 再加上请求数据处理异步化,是 DBLE 高性能的秘密。

下期预告

本篇文章为 DBLE 网络模块源码解析的第一篇,主要介绍了关于网络 IO 的一些基础知识。包括 TCP/IP 协议栈、应用层 MySQL 协议、BIO 和 NIO 相关知识,为后面的源码解析做个铺垫,下一篇将从源码角度详细讲解 DBLE 的网络处理逻辑,希望能够对大家有所帮助。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-12-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 爱可生开源社区 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档