如何使用Python模拟MySQL Slave，可以看看这个开源项目

jeanron100

发布于 2019-10-28 17:28:00

1.3K0

发布于 2019-10-28 17:28:00

文章被收录于专栏：杨建荣的学习笔记杨建荣的学习笔记

这是学习笔记的第 2140 篇文章

在MySQL中通过Master向Slave推送binlog数据变化，从而实现主从复制的过程，是一件看似再正常不过的事情了。整个过程可以使用如下的流程图来表示。

毕竟这是MySQL体系内的实现，如果想要在这个基础上扩展，比如实现异构数据的流转，复制，或者情况糟糕一些，多个跨地域的MySQL之间要实现异步数据复制，这个时候原生的主从场景就会受到限制了。

如果要实现这种特殊的复制，需要具备两点，第一是可以正常连接到MySQL,并且具有Slave应该拥有的权限，第二是按照MySQL协议发送相关的数据包，让MySQL服务能够识别你是一个“Slave”,这样如果发生了数据变化，Master就可以源源不断的推送数据变化的信息过来。

在技术方向上已经有了很多的产品和组件，比如阿里的canal，Zendesk的Maxwell, Yelp的MySQLStreamer等，都可以模拟MySQL协议，在行业内也有一些实现场景，在特性完善方面各有差异。

最近也做数据多活的一些方案调研，发现mysql-python-replication是一个很不错的开源项目，它和行业内知名的一些开源项目都有渊源，实现了底层的协议数据解析。

我们接下来看看mysql-python-replication的源码实现，做一些简单的解读。

首先mysql-python-replication的整体实现思路如下，它其实是基于PyMySQL来连接MySQL,然后来模拟协议层的数据包，得到Master推送的数据之后，按照Binlog中的event类型解析为Insert,delete,update(分别对应insert,delete,update事件），当然Binlog中实际的事件要远远比这个多。

mysql-python-replication的源码很容易得到，在GitHub上搜索mysql-python-replication即可。

得到的源码结果如下，代码量其实远比想象的要少一些。

最后竟然还很贴心的给出了MySQL 5.6,5.7的安装部署脚本，在examples目录下提供了几个案例，我们今天要分析的主要是基于dump_events.py这个文件，它可以实现模拟Slave的整个过程。

整个实例程序很短，内容如下：

from pymysqlreplication import BinLogStreamReader
MYSQL_SETTINGS = {    "host": "127.0.0.1",    "port": 3306,    "user": "root",    "passwd": "xxxx"}
def main():    # server_id is your slave identifier, it should be unique.    # set blocking to True if you want to block and wait for the next event at    # the end of the stream    stream = BinLogStreamReader(connection_settings=MYSQL_SETTINGS,                                server_id=3,                                blocking=True)    for binlogevent in stream:        binlogevent.dump()    stream.close()if __name__ == "__main__":    main()

示例的Main方法内其实逻辑相对是比较简单的，初始化BinLogStreamReader对象，然后解析出event的信息。

这里的dump主要是基于BinLogEvent和RotateEvent，其他的大都是PyMySQL底层的实现了。

其实按照这个思路我们是很难读懂代码的，只能做一些基本的代码熟悉，一方面我们要不断的调试理解，另一方面我们需要抓住重点。

重点是什么呢，其实就是模拟Slave的原理，我来具体解释一下。

MySQL Master向Slave推送数据，都是按照基础的协议来完成，就好比我们工作中常用的专业术语，在外行来看就是高深莫测的东西。在这里MySQL是定义了两个命令：COM_REGISTER_SLAVE和COM_BINLOG_DUMP，前者用于注册Slave,后者通知mysqld从指定binlog pos发送event。

如下是一个调试过程中得到的MySQL线程情况，可以看到相应的Binlog Dump线程，其实这个数据库是没有Slave的。

当然python-mysql-replication代码后端也会去information_schema中取一些元数据（其实主要是字段相关的元数据信息）。

我们在BinLogStreamReader中可以看到很多方法，其实是有关联调用的，其中目前我最关注的方法是register_slave

def _register_slave(self):        if not self.report_slave:            return        packet = self.report_slave.encoded(self.__server_id)        if pymysql.__version__ < "0.6":            self._stream_connection.wfile.write(packet)            self._stream_connection.wfile.flush()            self._stream_connection.read_packet()        else:            self._stream_connection._write_bytes(packet)            self._stream_connection._next_seq_id = 1            self._stream_connection._read_packet()

return (struct.pack('<i', packet_len) +                int2byte(COM_REGISTER_SLAVE) +                struct.pack('<L', server_id) +                struct.pack('<%dp' % min(MAX_STRING_LEN, lhostname + 1),                            self.hostname.encode()) +                struct.pack('<%dp' % min(MAX_STRING_LEN, lusername + 1),                            self.username.encode()) +                struct.pack('<%dp' % min(MAX_STRING_LEN, lpassword + 1),                            self.password.encode()) +                struct.pack('<H', self.port) +                struct.pack('<l', 0) +                struct.pack('<l', master_id))

如果条件为：if not self.auto_position:即为偏移量同步模式，

后续发送COM_BINLOG_DUMP的实现逻辑为：

  prelude = struct.pack('<i', len(self.log_file) + 11) \                + int2byte(COM_BINLOG_DUMP)            if self.__resume_stream:                prelude += struct.pack('<I', self.log_pos)            else:                prelude += struct.pack('<I', 4)            flags = 0            if not self.__blocking:                flags |= 0x01  # BINLOG_DUMP_NON_BLOCK            prelude += struct.pack('<H', flags)            prelude += struct.pack('<I', self.__server_id)            prelude += self.log_file.encode()

否则注册的是GTID相关的binlog_dump

gtid_set = GtidSet(self.auto_position)            encoded_data_size = gtid_set.encoded_length

            header_size = (2 +  # binlog_flags                           4 +  # server_id                           4 +  # binlog_name_info_size                           4 +  # empty binlog name                           8 +  # binlog_pos_info_size                           4)  # encoded_data_size
            prelude = b'' + struct.pack('<i', header_size + encoded_data_size)\                + int2byte(COM_BINLOG_DUMP_GTID)

而这个过程中也会通过PyMySQL连接到数据库中，得到字段相关的一些信息。

SQL为：

 SELECT COLUMN_NAME, COLLATION_NAME, CHARACTER_SET_NAME,COLUMN_COMMENT, COLUMN_TYPE, COLUMN_KEY, ORDINAL_POSITION FROM   information_schema.columns     WHERE  table_schema = %s AND table_name = %sORDER BY ORDINAL_POSITION

通过代码调试可以看到这些明细的信息。

当然看到这里我们可能还是一知半解，不知道这个程序运行结果是怎么样的。我们来跑一个demo看看。

首先刷新下日志，对表test写入一行数据，看看解析的效果怎么样。

mysql> flush logs;mysql> insert into test values(3,'cc');Query OK, 1 row affected (0.07 sec)mysql> show binary logs;| mysql-bin.000064 |       675 || mysql-bin.000065 |       391 |+------------------+-----------+65 rows in set (0.00 sec)

在后端输出的日志内容为：

=== RotateEvent ===Position: 4Next binlog file: mysql-bin.000065()=== RotateEvent ===Position: 4Next binlog file: mysql-bin.000065()=== FormatDescriptionEvent ===Date: 2019-10-23T10:51:41Log position: 123Event size: 100Read bytes: 0()=== QueryEvent ===Date: 2019-10-23T10:51:55Log position: 279Event size: 49Read bytes: 49Schema: testExecution time: 0Query: BEGIN()=== TableMapEvent ===Date: 2019-10-23T10:51:55Log position: 325Event size: 27Read bytes: 26Table id: 599Schema: testTable: testColumns: 2()=== WriteRowsEvent ===Date: 2019-10-23T10:51:55Log position: 364Event size: 20Read bytes: 12Table: test.testAffected columns: 2Changed rows: 1Values:--('*', u'id', ':', 3)('*', u'name', ':', u'cc')()=== XidEvent ===Date: 2019-10-23T10:51:55Log position: 391Event size: 8Read bytes: 8Transaction ID: 82()

mysql> show slave hosts;Empty set (0.00 sec)

可以看到解析出了多个event,我们把binlog里面的事件和输出比对，会发现这些事件是匹配的。因为flush logs对最后的binlog做了切换，所以有Rotate相关事件。