mariadb 10 多源复制(Multi-source replication) 业务使用场景分析,及使用方法

mariadb 10 多源复制(Multi-source replication) 业务使用场景分析,及使用方法

官方mysql一个slave只能对应一个master,mariadb 10开始支持多源复制,一个slave可以有多个master,分别从各自的master复制不同的DB。

这个特性可以用在OLAP环境中,传统电商DB都是拆了再拆,分库分表,sharding,而OLAP环境或者大数据平台环境,通常需要各种数据的聚合,多个平台多个DB数据的复合查询,而这些数据分散在各个库中,怎么办了,当然通过应用程序可以实现聚合,但又没有更简单的方法,比如直接对各个server上的库,进行表字段的关联了。Mysql没有oracle的DBLINk的功能,而mysql虽然有federated引擎,但不太靠谱,而且麻烦,性能怎么样不可预知。

这个时候,mariadb的多源复制功能的优势就体现出来了。直接把多个server的db,复制到同一个slave上,所有库都有,想怎么关联就怎么关联。

其他使用场景:

  • 两个独立的系统,通过接口,比如restful api或者soap,进行接口数据传递,经常有两边通讯数据不一致的场景,怎么核查数据了。除了查接口日志,可以使用多源复制,直接写sql关联两个库的通讯数据,到底是发送方传递数据还是接受方接收数据有问题,就很明显了。
  • DBA可以在同一个DB SERVER上查数,不用到各个server分别查数。
  • 备份方便,集中在这台多源复制slave上进行备份,不用到各个server上去复制。
  • 大数据抽数,集中在一个DB 平台上抽数,不用分散到各个DB server上抽数,当然抽数多了,IO扛不住,上ssd或者pcie 卡吧。

下面讲讲使用方法,建议看mariadb 10 多源复制官方文档吧,https://mariadb.com/kb/en/mariadb/mariadb-documentation/replication-cluster-multi-master/replication/multi-source-replication/

传统复制模式改多源复制:
  1. stop slave ,show slave status 查看停止位置
  2. reset slave all;
  3. change master 'conn_mall' to master_host='master ip', MASTER_PORT=3306,master_user='', master_password='', master_log_file='mysql-bin.000036', master_log_pos=189492612;
  4. start slave 'conn_mall';
  5. show all slaves status \G 或者show slave 'conn_mall' status\G
新增加一个复制源:
  1. 源端导出 mysqldump --master-data=2
  2. slave端导入
  3. change master 'conn_erp' to master_host='master ip', MASTER_PORT=3306,master_user='', master_password='', master_log_file='mysql-bin.000470', master_log_pos=215418341;
  4. start slave 'conn_erp';
传统复制模式-》多源复制的命令变化
  1. reset slave -> reset slave 'conn_erp',多个连接源名字
  2. start slave -> start slave 'connection_name' 或者start all slaves
  3. show slave status -> show slave 'conn_mall' status,或者 show all slaves status查看所有的slave连接状态
  4. sql_slave_skip_couter -> stop slave 'connection_name',先指定连接源名称 set @@default_master_connection='connection_name';然后再set global sql_slave_skip_counter=1;最后start slave 'connection_name'
多源复制环境下的replicate-... variables 变量问题

可以在my.cnf replicate_ignore_db 前添加conn连接串前缀,比如 main_connection.replicate_ignore_db=ignore_database 若不加前缀,就是忽略所有同名的数据库,其他变量类推。

原文发布于微信公众号 - 马哥Linux运维(magedu-Linux)

原文发表时间:2014-07-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏玄魂工作室

Fluxion 实战答疑

0x00-设置更新源 在apt-get install xxx前要记得更新源哦,在用官网源更新,需要代理,关于如何设置代理,在玄魂工作室微信订阅号(xuanhu...

36570
来自专栏为数不多的Android技巧

让Alfred支持拼音搜索

Alfred是个好东西,不过检索程序的时候不支持拼音搜索;我在论坛看到有人给作者反馈过,无奈作者说支持中文,他不知道拼音是什么,于是就不了了之了。举个例子:我想...

37410
来自专栏编程

年底总结一下Python WEB最好用的几个框架,让你有一个系统的了解

2017年就要过完了,我们来总结一下2017年最好用的17个Python Web框架 群内不定时分享干货,包括2017最新的python企业案例学习资料和零基础...

95580
来自专栏程序员的碎碎念

如何解决Python包依赖问题

以简洁高效(指编程较为高效, 而不是运行速度)出名的Python, 在包依赖问题上有时候让人挠头.

23920
来自专栏FreeBuf

解密所有APP运行过程中的内部逻辑

0x01前言 这年头,apk全都是加密啊,加壳啊,反调试啊,小伙伴们表示已经不能愉快的玩耍了。静态分析越来越不靠谱了,apktool、ApkIDE、jd GUI...

302100
来自专栏大魏分享(微信公众号:david-share)

NGINX的定制化 | API Management学习第四篇

3 SCALE中API gateway,是基于NGINX(OpenResty Web Platform = Nginx + Lua )。

19620
来自专栏Flutter入门到实战

使用友盟分享和登陆以及使用时要注意的坑

26610
来自专栏解Bug之路

解Bug之路-记一次JVM堆外内存泄露Bug的查找 顶

JVM的堆外内存泄露的定位一直是个比较棘手的问题。此次的Bug查找从堆内内存的泄露反推出堆外内存,同时对物理内存的使用做了定量的分析,从而实锤了Bug的源头。笔...

10740
来自专栏木可大大

漫谈文件系统

翻译成中文大致意思:文件系统主要是管理数据存储以及数据如何检索的,而数据存储在磁盘或内存中。上期我们聊过了漫谈虚拟内存,本期我们就重点介绍磁盘中的机械磁盘的组成...

534120
来自专栏Android 开发者

非 SDK 接口常见问题 | Android 开发者 FAQ Vol.13

44730

扫码关注云+社区

领取腾讯云代金券