专栏首页DBA随笔MySQL动态修改复制过滤器

MySQL动态修改复制过滤器

01

Nov,2019

今天是周五,最近睡眠不好,一整天都浑浑噩噩的,状态不是很好,周五了,准备早点回家,早点休息了,今天的内容写写线上的一个案例,主要是关于主从复制过程中的replicate-gnore_table参数的,废话不多说,开始写。

//

MySQL动态修改复制过滤器

//

说说今天遇到的问题吧,今天在处理一个业务方的需求,比较变态,我大概描述一下:

1、线上的阿里云rds上面有个游戏的日志库,里面的表都是日表的形式,数据量比较大了,每次备份的时候,都会导致线上的rds报警,报警内容是IO资源占用过多。

2、这个rds上有一个本地的ECS只读从库,这个只读从库会实时同步线上的rds数据库中的数据,这个只读从库供业务方查询使用

3、业务方说这些数据都还有用,只读从库上的数据必须有,线上rds上的数据可以删除,保留两个星期即可。

场景就是这么个场景,DBA想要解决报警这个问题,业务方想要保证拥有完整的数据。请问,怎么解决?

当时看到这个问题,我想骂人,这需求一看就不合理,哪儿有删除一个库,另外一个库上还保留的道理,况且都是些日志数据,不直接搞个冷备份,然后删除线上,搞这么一出干啥啊。但是啊,怎么说也没有缓和的余地,于是就开始思考这个问题应该怎么解决。我想到的解决办法有以下几个:

1、扩容,提升性能。数据量大,扩磁盘呗,IO使用率高,提升性能么,这是最直接的解决办法,也是最贵的解决办法,首先被砍掉。

2、先备份再删除再还原。rds主库上提前备份日表数据,然后删除数据,此时从库会同步删除数据,然后再将第一步备份的数据还原到从库上。这个办法从可行性上来讲是可以的,因为保证了没有数据丢失。但是操作起来比较麻烦,手续太多,不够方便。

3、使用replicate-ignore-table参数进行对于指定的表进行过滤。设置了这个参数,可以让你过滤指定数据表的所有操作。我们看看官方文档对这个参数的描述,给个链接:https://dev.mysql.com/doc/refman/5.7/en/replication-options-slave.html#option_mysqld_replicate-wild-ignore-table

描述如下:

Creates a replication filter which keeps the slave thread from replicating a statement in which any table matches the given wildcard pattern. To specify more than one table to ignore, use this option multiple times,

上面的意思是你可以使用这个参数创建一个过滤器,从而过滤掉匹配你制定的规则的特定表的操作(听着很绕口),就是说你可以制定过滤规则,加入规则中制定了表a,那么表a的操作就不会同步到从库中了。

这和我们的需求符合,也就是我们如果设置了要过滤的表,那么当我们进行删除表操作的时候,从库中不会对表进行删除,就实现了我们想要的结果。测试一下这个功能吧:

首先我们创建数据库test_ignore,然后在其中创建表:

主库上操作:

mysql :test_ignore >>show tables;
Empty set (0.00 sec)

mysql :test_ignore >>create table aaa (id int not null);
Query OK, 0 rows affected (0.19 sec)

mysql :test_ignore >>create table aab (id int not null); 
Query OK, 0 rows affected (0.01 sec)

mysql :test_ignore >>create table aac (id int not null); 
Query OK, 0 rows affected (0.00 sec)

mysql :test_ignore >>create table aad (id int not null); 
Query OK, 0 rows affected (0.01 sec)

mysql :test_ignore >>create table aae (id int not null); 
Query OK, 0 rows affected (0.01 sec)

从库上查看:

mysql :test_ignore >>show tables;
+-----------------------+
| Tables_in_test_ignore |
+-----------------------+
| aaa                   |
| aab                   |
| aac                   |
| aad                   |
| aae                   |
+-----------------------+
5 rows in set (0.00 sec)

发现已经同步过来了。此时是处于主从同步状态,如果现在我们在主库上删除表,那么从库上的表一定会删除,这不是我们想要的结果。

很显然,接下来的一步是配置replicate-wild-ignore-table这个参数了,一般情况下,我们需要通过停止从库的服务进行my.cnf文件的配置,如果我们要配置多个表,则需要在my.cnf文件中写多条通配的记录。例如,在本例子中,需要配置该参数的值为test_ignore.aa%,其中%代表通配符,也就是说,test_ignore数据库中形如aa%这种格式的表操作都会被过滤掉。而我们创建的表aaa、aab、aac、aad、aae都是形如这种的,所以针对这几个表的操作一定不会同步到从库了,我们测试一下:

首先查看当前的复制状态:

mysql :test_ignore  >>show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: XXXXXXXXXXXX
                  Master_User: dba_repl
                  Master_Port: 4306
                Connect_Retry: 60
              Master_Log_File: mysqlbin.000005
          Read_Master_Log_Pos: 12286302
               Relay_Log_File: slave-relay-bin.000011
                Relay_Log_Pos: 2223
        Relay_Master_Log_File: mysqlbin.000005
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: test_ignore.aa%

双Yes状态,说明复制关系没有问题

主库进行操作:

mysql :test_ignore  >>drop table aaa;
Query OK, 0 rows affected (0.01 sec)

mysql :test_ignore  >>drop table aab;
Query OK, 0 rows affected (0.00 sec)

从库上进行查看:

mysql :test_ignore  >>show tables;
+-----------------------+
| Tables_in_test_ignore |
+-----------------------+
| aaa                   |
| aab                   |
| aac                   |
| aad                   |
| aae                   |
+-----------------------+
5 rows in set (0.00 sec)

从库上的表还在,说明主库上的操作没有被同步到从库,我们配置的参数

replicate-wild-ignore-table=test_ignore.aa%

起作用了。此时,如果我们在主库上创建一个表:

`主库`
mysql :test_ignore  >>create table aaf(id int);
Query OK, 0 rows affected (0.00 sec)

`从库`
mysql :test_ignore  >>show tables;
+-----------------------+
| Tables_in_test_ignore |
+-----------------------+
| aaa                   |
| aab                   |
| aac                   |
| aad                   |
| aae                   |
+-----------------------+
5 rows in set (0.00 sec)

发现从库并没有同步主库的表aaf,因为aaf也匹配了test_ignore.aa%这条规则。

利用这个特性,我们能够很好的解决这个业务场景,也就是主库删除,从库保留数据。但是,这里要说但是了,这个方法有一个比较严重的问题,就是每次都需要重启从库,如果我们需要配置第二条规则,第三条规则,则需要重启从库2次,3次,这个过程中,从库对于业务方是不可见的,如果无法访问,很可能造成程序报错,这是我们不能忍受的。

这个过程肯定是要解决的,怎么解决呢?能不能找到不停机就能修改复制过滤器的方法?找找官方文档。

果然,停机是不可能停机的,这辈子都不可能停机。官方文档中有这么一句话:

You can also create such a filter by issuing a CHANGE REPLICATION FILTER REPLICATE_WILD_IGNORE_TABLE statement.

我去,这是个啥语句,表示从来没有用过,可以通过在线变更复制过滤器的方法来对过滤器进行修改,看看官方文档中的介绍:

看到了一个神奇的语句,赶紧来试试:

mysql :test_ignore  >>change replication filter replicate_wild_ignore_table=('test_ig%.aa%');
ERROR 3017 (HY000): This operation cannot be performed with a running slave sql thread; run STOP SLAVE SQL_THREAD first

mysql :test_ignore  >>stop slave;
Query OK, 0 rows affected (0.00 sec)

mysql :test_ignore  >>change replication filter replicate_wild_ignore_table=('test_ig%.aa%');
Query OK, 0 rows affected (0.00 sec)

mysql :test_ignore  >>start slave;
Query OK, 0 rows affected (0.01 sec)

直接使用,提示需要stop slave sql_thread,想想也能理解,不停止复制直接修改复制的规则好像有点不妥,索性停止了整个复制,然后重新修改复制过滤器,妥了,成功执行,开启复制,一套操作行云流水。

再来看看复制关系中的状态:

mysql :test_ignore  >>show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: XXXXXXXX
                  Master_User: dba_repl
                  Master_Port: 4306
                Connect_Retry: 60
              Master_Log_File: mysqlbin.000005
          Read_Master_Log_Pos: 12306680
               Relay_Log_File: slave-relay-bin.000011
                Relay_Log_Pos: 22601
        Relay_Master_Log_File: mysqlbin.000005
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: 
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: test_ig%.aa%

忽略的表规则已经变成了test_ig%.aa%,也就是说,以test_ig开头的数据库中以aa开头的表的操作,都不会被同步到从库,包括对表的alter和drop以及create操作。

但这里,方案就出来了,我们知道,日表一般是YYYYMMDD这种形式的,我们只要过滤YYYYMM%这种格式的日表,然后在主库上对它进行删除,这个操作将不会被同步到从库,那么这个问题就可以顺利解决了。

当然,除了这个方案之外,还有一些方案,例如:

如果业务容忍部分数据丢失,我们还可以使用关闭binlog---删表---打开binlog的方式使得从库不会同步主库的drop操作;

线上所有的日表操作都配置成ignore,然后利用触发器将日表中的更新同步到从库中;

这一系列的操作,其实不是从本质上解决问题,本质上还是业务设计的问题,日表中的打点日志太多,可以适当减少这些打点日志,对于打点日志,需要确定保留周期,过期的日志,需要及时清理,保证服务器的指标和性能。

本文分享自微信公众号 - DBA随笔(gh_acc2bbc0d447),作者:AsiaYe

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • MySQL备份与恢复(二)

    前天的文章中简单写了备份与恢复的方法,今天我们主要来看看不同的备份方法备份出来的文件结果,以及它们的恢复方法。

    AsiaYe
  • 硬盘对数据库性能的影响

    总体来讲,相当于一个i5+4G+500G传统硬盘的配置了,在当时看来还是不错的,但是不用不知道,这个AMD的使用情况不容乐观,散热问题相当严重,感觉比i...

    AsiaYe
  • 关于null值的一个小问题

    一个业务方给了一个SQL,要让在线上执行,具体的SQL抽象完成之后是这样的:

    AsiaYe
  • .NET Core快速入门教程 2、我的第一个.NET Core App(Windows篇)

    ken.io
  • python内置方法

    用户2398817
  • 『互联网架构』埋点基础知识(112)

    1.javaagent 代理拦截(插桩的入口) 2.javassist 字节码修改工具 (怎么插)

    IT故事会
  • 是谁让腾讯云走进混合云

    UnitedStack有云与腾讯云共同宣布签署云计算合作协议,双方将致力于共同提升国内的云服务水平,共同推进混合云的应用进程。 UnitedStack是国内最专...

    静一
  • java 查询功能实现的八种方式

    版权声明:这可是本菇凉辛辛苦苦原创的,转载请一定带上我家地址,不要忘记了哈 . https:...

    微风-- 轻许--
  • Java 8 Stream Api 中的 map和 flatMap 操作

    Java 8 提供了非常好用的 Stream API ,可以很方便的操作集合。今天我们探讨两个 Stream 中间操作 map 和 flatMap

    码农小胖哥
  • vim的配置与使用

    经历了一次source insight 一言不合就崩溃之后,决定还是花点时间好好配置和学习以下vim

    zqb_all

扫码关注云+社区

领取腾讯云代金券