Mysql Group Replication介绍

一、Mysql Group Replication简介

Mysql Group Replication(MGR)是一个全新的高可用和高扩展的MySQL集群服务。

高一致性,基于原生复制及paxos协议的组复制技术,以插件方式提供一致数据安全保证;

高容错性,大多数服务正常就可继续工作,自动不同节点检测资源征用冲突,按顺序优先处理,内置自动防脑裂机制;

高扩展性,自动添加移除节点,并更新组信息;

高灵活性,单主模式和多主模式。单主模式自动选主,所有更新操作在主进行;多主模式,所有server同时更新。

paxos协议,paxos是个分布式一致性协议,简单来说就是,它的事件需要多个节点共同参与,一个事件完成是指多个节点上均完成了自身的子事件(就让我门把这样的事件称为"分布式事件"),这样的分布式事件可以看作是多个子事件的复合。

二、数据库架构

多主模式(Mutil primary mode)和单主模式(Single primary mode)

下图为多主模式,3master+1slave,34为主库开启读写,31/33开启只读,37挂在34上做slave进行异步复制。

三、MySQL5.7版本 MGR部署

创建复制用户

mysql> grant replication slave,replication client on *.* to rep@'%' identified by '123456';

构建group replication集群

mysql> change master to master_user='rep',master_password='123456' for channel 'group_replication_recovery'; 

安装插件

mysql> install PLUGIN group_replication SONAME 'group_replication.so';

设置group_replication_bootstrap_group为ON是为了标示以后加入集群的服务器以这台服务器为基准,以后加入的就不需要设置。

mysql> set global group_replication_bootstrap_group=ON; 

作为首个节点启动mgr集群

mysql> start group_replication;
mysql> set global group_replication_bootstrap_group=OFF;

添加实例(从库)

mysql> set global group_replication_allow_local_disjoint_gtids_join=ON;
mysql> start group_replication;

查看MGR状态

mysql> select * from performance_schema.replication_group_members;

基本配置

# Group Replication
server_id = 34
gtid_mode = ON
enforce_gtid_consistency = ON 
master_info_repository = TABLE 
relay_log_info_repository = TABLE 
binlog_checksum = NONE 
log_slave_updates = ON
log_bin = binlog
binlog_format= ROW

group_replication变量使用的loose-前缀是指示Server启用时尚未加载复制插件也将继续启动,根据自己配置修改

transaction_write_set_extraction = XXHASH64
loose-group_replication_group_name="01e5fb97-be64-41f7-bafd-3afc7a6ab555"
loose-group_replication_start_on_boot=off
loose-group_replication_local_address="127.0.0.1:13309"
loose-group_replication_group_seeds="127.0.0.1:13306,127.0.0.1:13307,127.0.0.1:13308"
loose-group_replication_bootstrap_group = off

相关参数

show variables like '%group_replication%';

流控制默认配置开启,默认配置,队列超过默认值会触发流控制,使整体集群性能受到影响。

四、MGR测试

MGR经过一段时间的测试,出现的问题大概总结为以下几点:

1.每次提交事务时尽量控制单次操作事务的数据量,减少大事物在其他节点check的时间和堵塞后面的操作带来的集群复制延迟,如事务回滚影响更大;

2.MGR集群环境部署对网络的依赖性较强,网络延时会导致整个集群性能的下降,集群内服务器尽量保持配置一致,集群内其中一服务器性能不好也会影响整个集群的整体性能;

3.DDL操作时,如操作的table有事物执行,在ddl时间内的所有的 插入,更新和删除操作记录到一个日志文件,然后再把这些增量数据应用到相应的表上(等表上的事务完全释放后),日志大小受innodb_online_alter_log_max_size参数限制,如写一直持续innodb_online_alter_log_max_size参数大小不好人为控制,会导致ddl执行失败;

4.Mysqldump会直接影响集群性能,xtrbackup因对磁盘io占用也会间接影响集群性能,建议备份节点考虑在mgr集群下挂载slave节点上执行备份;

5.版本升级,5.6在开启gtid后可直接升级至5.7.17并开启组复制模式;5.5版本则需要升级到5.6版本过渡一下才可升级为组复制模式。由于5.6、5.7版本上时间类型time,timestamp,datetime精度都支持到微秒精度,从5.5升级后带来的影响需要评估;

6.数据校验,现有工具Pt-table-checksum并不支持MGR集群的校验,仅可以对slave节点数据校验;

7.流量控制,当certifer_queue队列深度大于flow_crontrol_ certifer_threshold或者applier_queue队列深度大于flow_crontrol_ applier_threshold值时会触发流控制,触发流控制后写入会降低,这是为了避免更大的复制延迟,但是触发流控制后前端应用就会感觉可用率的下降,所以这个参数是个双刃剑,要根据实际生产环境设置,并且certifer_queue和applier_queue队列深度暂时没有监控项可监控,后期带来的运维问题也需要考虑;

8.MGR集群最多为9个节点,以5节点集群为例,集群内2个节点故障时,其余3个节点是可以继续提供服务的,但是当集群内有3个节点故障时,剩余2个节点就不能提供服务了,此时需要人工处理,如处理不当极容易发生脑裂现象。

原文发布于微信公众号 - MYSQL轻松学(learnmysql)

原文发表时间:2017-12-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

Firefox/Chrome渗透测试插件推荐

注意:360安全浏览器有些比较不错的功能值得体验下(firefox/chrome有些功能我没能正常使用)不喜勿喷。firefox一直是各位渗透测试必备的利器,这...

7307
来自专栏FreeBuf

利用Pentestbox打造MS17-010移动杀器

1、前言 前段时间Shadow Broker披露了 Windows大量漏洞,甚至爆出黑客组织 Equation Group 对于Windows 远程漏洞 MS1...

3377
来自专栏蓝天

autoconf手册(一)

Autoconf   Creating Automatic Configuration Scripts   Edition 2.13, for Autoco...

911
来自专栏沃趣科技

Oracle集群时间同步

在RAC中集群的时间应该是保持同步的,否则可能导致很多问题,比如:依赖于时间的应用会造成数据的错误,各种日志打印的顺序紊乱,这将会影响问题的诊断,严重的可能会导...

1494
来自专栏生信技能树

点击此文,无需转发,即可下载上千个免费R包

写在前面: 谨以此文献给那些“奋斗”在转发送别人资源,为了博人眼球,而践踏别人的辛勤的劳动成果的公众号们。 当然了,R包本来就是免费的,你只是不会下载而已,所以...

4138
来自专栏木可大大

漫谈文件系统

翻译成中文大致意思:文件系统主要是管理数据存储以及数据如何检索的,而数据存储在磁盘或内存中。上期我们聊过了漫谈虚拟内存,本期我们就重点介绍磁盘中的机械磁盘的组成...

51812
来自专栏FreeBuf

云存储平台&服务安全分析报告

1. 概要 本报告展示了一种新型的攻击,我们称之为“Man in the cloud(MITC)”。MITC攻击将常见的文件同步服务(如GoogleDrive、...

3019
来自专栏IMWeb前端团队

利用whistle调试WebSocket和Socket请求

whistle v1.6.0 (Github地址:https://github.com/avwo/whistle) 开始支持WebSocket和一般Socket...

4660
来自专栏FreeBuf

聊一聊万恶的锁首

当手持8倍镜的98K都不能在使用程序时干掉万恶的锁首时,内心是十万头羊驼奔跑的场景,那我们就来聊一聊市面上常见的锁首方式。 ① :设置OpenHomePage、...

2137
来自专栏walterlv - 吕毅的博客

Windows 10 四月更新,文件夹名称也能区分大小写了

发布于 2018-06-14 00:02 更新于 2018-09...

2643

扫码关注云+社区