在 libevent 中使用 MariaDB(MySQL)

在之前我翻译的官方文档中提到了 MariaDB 提供了对异步 I/O 的支持。那篇文章是一个比较简要的介绍。不过实际适配中,官方也提供了一个完整适配 libevent 的示例代码。本文算是对我上述示例代码的阅读笔记吧。

阅读本文之前,作者假设读者已经有了 libevent 的相关知识。如果没有的话,可以参见我的系列文章:

此外本文内容也适合其他的异步 I/O 库,如:


基本流程

传统的 MySQL client 在请求 DB 查询的时候,API 调用流程为:

mysql_real_connect()
mysql_real_query()
mysql_use_result()
mysql_fetch_row()
mysql_close()

不过,在异步 socket 模型中,根据官方介绍文档中也提及了,对于会产生阻塞的函数调用 XXX,需要分开 XXX_start()XXX_cont() 进行调用。上述流程中,除了 mysql_use_result() 不是阻塞调用之外,其他的函数均需要如此区分。


流程状态图

异步服务器经常是以状态图模式进行设计开发的,官方 demo 是基于 libevent 设计的,也一样。下面是简化版的流程装态图(流程图 + 状态图):

上图主要是正常流程,异常流程暂未列出。实线表示该状态的流转需要经过异步 I/O 等待(libevent 调用 event_add())后才能获取相应的状态码或返回值进行检查后才可以进行的状态流转,虚线表示在该状态下即已有足够的变量可进行状态流转。


详细流程

Connect 阶段

该阶段包含三个状态,其中两个状态分别是 mysql_real_connect_start()mysql_real_connect_cont() 函数的调用状态。这两个函数之间的流转,后文 “阻塞函数改造” 小节中再做说明。

mysql_real_connect 系列函数返回 status == 0 之后,程序就可以流转到该阶段的第三个状态,在代码中的状态码是 9。这个状态中,程序只进行异常判断,如果正常,则流转至下一流程 query 阶段。如果在状态 9 检测到异常,程序中直接调用 exit() ,因此可以认为这个状态极少出错。当然对于正式的程序,还是需要捕捉这个错误的。

Query 阶段

该阶段包含两个状态,分别是 mysql_real_query_start()mysql_real_query_cont() 函数的调用状态。这两个状态的代码就是非常典型的 _start + _cont 阶段。后文将会说明相关内容。

另外,在 mysql_real_query_start() 处,还会检查当前是否有新的查询请求。如果没有请求,则会直接进入 close 阶段。这与普通的 MySQL 流程无异,因此不展开讲。

Use Result 阶段

这个阶段调用的是 muysql_use_result() 函数。由于该函数不是阻塞函数,因此该阶段只需要一个状态,并且状态的流转不需要等待,直接流转即可。

Fetch Row 阶段

该阶段向数据库获取结果的行,同样有相应的 _start()_cont() 状态,这两个阶段同样后文再讲述。在 _cont() 状态中如果 status 值为 0,则直接进入 39 状态使用获得的数据进行操作。

39 状态中,如果数据未获取完,则继续回到该阶段的 _start() 状态;如果当前叉裙已经结束,则回到 query 阶段。

Close 阶段

如前文所述,该阶段的入口是从 query 阶段而来。和普通的 socket close 不同,MySQL client 的 close 操作是阻塞的,需要将这个阶段的代码改造成异步模式。和 query 阶段类似,该阶段只需要 _start()_cont() 两个状态即可

Exit 阶段

这个阶段其实不是 MySQL 的请求流程之一,而是整个应用程序的流程阶段。在这个阶段,应用程序需要调用其所使用的异步 I/O 框架的退出机制。对于 libevent,则是 event_loopbreak()


阻塞函数改造

状态机函数

上文所提及的几个阶段中,有四个阶段是对原有阻塞函数的改造,需要将阻塞函数分为同名的 _start()_cont() 两个函数。以 mysql_real_connect() 函数为例,该函数需要改造为 mysql_real_connect_start()mysql_real_connect_cont() 两个函数。其中 _start 发起流程,而 _cont 表示 “continue”,则是处理异步 I/O 过程中的一些(不需要程序员关心)的中间状态,同时判断异步 I/O 是否已经完成。

这里需要的两个函数分别是:

// 仅声明异步改造的关键变量

// _start 状态
int status;
MYSQL mysql;
MYSQL *mysql_ret;
status = mysql_real_connect_start(&mysql_ret, host, user, passwd, db_name, port, unix_sock, 0);

// _cont 状态
int status;
MYSQL mysql;
MYSQL *mysql_ret;
status = mysql_real_connect_cont(&mysql_ret, &MYSQL, _libevent_to_mysql_status(libevent_what));

// _libevent_to_mysql_status 转换函数
static int _libevent_to_mysql_status(short event)
{
    int status= 0;
    if (event & EV_READ)
        status|= MYSQL_WAIT_READ;
    if (event & EV_WRITE)
        status|= MYSQL_WAIT_WRITE;
    if (event & EV_TIMEOUT)
        status|= MYSQL_WAIT_TIMEOUT;
    return status;
}

其中 start 函数的后七个参数,与原本 mysql_real_query 相同。而第一个参数 &mysql_ret ,则替代了原函数的返回值的作用。而 _start() 函数的返回值,则换成一个 int 类型的变量,用于适配异步 I/O。该 int 变量是一个位掩码变量,与 libevent 事件回调函数中的 short what 变量的位掩码一一对应(参见上文 _libevent_to_mysql_status() 函数,等同于官方 demo 中的 mysql_status() 函数)

状态机流转

状态机中写好了基本的调用函数之后,接下来就需要判断状态机的流转条件了。参见下图:

流转条件集中针对两个 “返回值” 的状态进行流转:

  • 异步 MySQL API 的 int 类型返回值 status:如果返回零,则表示当前操作正常完成,可走入下一步;如果非零,则表示下一步需要的事件掩码,在 _cont() 函数上继续等待
  • 原阻塞函数的返回值,也即异步 API 的第一个参数:处理方式以原阻塞式函数的处理方式相同。

转换为 libevent 掩码

状态流转时,如果需要等待 I/O 操作,那么需要使用异步 I/O 框架的事件函数进行操作。在 MySQL 异步 API 中,其状态值与 libevent 的掩码值是一一对应的。在前文 _libevent_to_mysql_status() 函数中已经体现了,对应关系如下:

类型

含义

MySQL 值或类型

libevent 值或类型

位掩码

读事件

MYSQL_WAIT_READ

EV_READ

位掩码

写事件

MYSQL_WAIT_WRITE

EV_WRITE

位掩码

超时时间

MYSQL_WAIT_TIMEOUT

EV_TIMEOUT

变量

socket 文件描述符

mysql_get_socket(&mysql)

evutil_socket_t fd

变量

超时事件

mysql_get_timeout_value(&mysql)

struct timeval

有了上述对应关系,已经足以将 MySQL 的变量转为 event_set()event_add() 函数调用了。

这样,一个完整的基于异步 I/O 框架的 MySQL client 过程,就建立起来了。


完整状态图

下面附上完整的状态图,能够更加直观地浏览整个异步状态:


参考资料


本文章采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。

原文发布于:https://cloud.tencent.com/developer/article/1346966

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏互联网大杂烩

拜占庭容错机制

Client会发送一系列请求给各个replicas节点来执行相应的操作,BFT算法保证所有正常的replicas节点执行相同序列的操作。因为所有的replica...

782
来自专栏非著名程序员

Android Studio你不知道的调试技巧

? 写代码不可避免有Bug,通常情况下除了日志最直接的调试手段就是debug;那么你的调试技术停留在哪一阶段呢?仅仅是下个断点单步执行吗?或者你知道 Eval...

27410
来自专栏猿人谷

从hello world 解析程序运行机制

开篇 学习任何一门编程语言,都会从hello world 开始。对于一门从未接触过的语言,在短时间内我们都能用这种语言写出它的hello world。 然而,对...

2056
来自专栏大数据智能实战

ubuntu环境下Pytorch安装及No module named 'torch._C'问题解决

近日,发现很多代码都是基于Pytorch来写的,为了进行测试和学习,于是进行了安装。 安装过程算是比较简单,直接从官网上下载源码,https://github....

2.6K10
来自专栏Golang语言社区

从websocket看go的应用

Go是互联网时代的通用编程语言。这样它就和命令行时代的C语言、图示界面时代的C++、以及互联网早期的Java语言等有不同的侧重。它强调保持自身的精巧和独立,从而...

2996
来自专栏Jackson0714

不惧面试:HTTP协议(3) - Cookie

27110
来自专栏枕边书

请求合并哪家强

工作中,我们常见的请求模型都是请求-应答式,即一次请求中,服务给请求分配一个独立的线程,一块独立的内存空间,所有的操作都是独立的,包括资源和系统运算。我们也知道...

862
来自专栏java一日一条

40+个对初学者非常有用的PHP技巧(二)

考虑使用ob_gzhandler?不,别这样做。它没有任何意义。PHP应该是来写应用程序的。不要担心PHP中有关如何优化在服务器和浏览器之间传输的数据。

821
来自专栏Golang语言社区

Golang工程经验(下)

线上服务端系统,必须要有降级机制,也最好能够有开关机制。降级机制在于出现异常情况能够舍弃某部分服务保证其他主线服务正常;开关也有着同样的功效,在某些情况下打开开...

4393
来自专栏技术博客

系统上线后WCF服务最近经常死掉的原因分析总结

  最近系统上线完修改完各种bug之后,功能上还算是比较稳定,由于最近用户数的增加,不知为何经常出现无法登录、页面出现错误等异常,后来发现是由于WCF服务时不时...

1093

扫码关注云+社区