MySQL Replication (MySQL 主从复制) 是什么？为什么要主从复制以及它的实现原理是什么？
在MySQL数据库系统中，全局事务标识符（Global Transaction Identifier，GTID）是一个非常重要的概念，它为数据库的日志复制提供了强大的支持。GTID为每个事务赋予了一个全球唯一的标识符，极大地简化了主从复制的管理和冲突解决。本文旨在深入探讨GTID的功能、其在解决日志复制冲突中的作用以及背后的运作原理。
在 MySQL（5.5 及以下）传统复制的时代，MHA（Master High Availability）在 MySQL 高可用应用中非常成熟。在 MySQL（5.6）及 GTID 时代开启以后，MHA 却没有与新的 MySQL 一起顺应时潮。
在MySQL中，主从架构应该是最基础、最常用的一种架构了。后续的读写分离、多活高可用架构等大多都依赖于主从复制。主从复制也是我们学习MySQL过程中必不可少的一部分，关于主从复制的文章有很多，笔者也来凑凑热闹，写写这方面的内容吧，同时分享下自己的经验和方法。
2、从库的IO线程在指定位置读取主库binlog内容存储到本地的中继日志（Relay Log）中
要完成二进制日志的传输过程，MySQL会在从服务器上启动一个工作线程，称为IO线程，这个IO线程会跟主数据库建立一个普通的客户端连接，然后在主服务器上启动一个特殊的二进制转储线程称为binlogdown线程。
年后在进行腾讯二面的时候，写完算法的后问的第一个问题就是，MySQL的半同步是什么？我当时直接懵了，我以为是问的MySQL的两阶段提交的问题呢？结果确认了一下后不是两阶段提交，然后面试官看我连问的是啥都不知道，就直接跳过这个问题，直接聊下一个问题了。所以这次总结一下这部分的知识内容，文字内容比较多，可能会有些枯燥，但对于这方面感兴趣的人来说还是比较有意思的。
在MySQL数据库管理中，全局事务标识符（GTID）是为了优化和简化日志复制而设计的机制。它为每个事务分配一个唯一标识符，使得复制过程更为透明和可管理。在保障数据一致性方面，GTID也发挥着重要作用。本文将探讨GTID如何帮助保障数据一致性，并介绍其在复制节点丢失数据时的处理机制。
主主复制的原理实际上是主从复制的原理，让两台服务器互为主从，就实现了主主复制。以下介绍主从复制原理：
http://www.searchdoc.cn/rdbms/mysql/dev.mysql.com/doc/refman/5.7/en/index.com.coder114.cn.html
复制状态是双Yes，但是可以看到Executed_Gtid_Set的值有三个，分别是059xxx、1f7xxx、bcaxxx,这和我们通过show master status查看的结果相同：
在基于MySQL传统复制的时代（MySQL版本低于5.5），MHA在MySQL高可用中可以说是独领风骚。
GTID即全局事务ID (global transaction identifier), 其保证为每一个在主上提交的事务在复制集群中可以生成一个唯一的ID。GTID最初由google实现，官方MySQL在5.6才加入该功能。mysql主从结构在一主一从情况下对于GTID来说就没有优势了，而对于2台主以上的结构优势异常明显，可以在数据不丢失的情况下切换新主。使用GTID需要注意: 在构建主从复制之前，在一台将成为主的实例上进行一些操作（如数据清理等），通过GTID复制，这些在主从成立之前的操作也会被复制到从服务器上，引起复制失败。也就是说通过GTID复制都是从最先开始的事务日志开始，即使这些操作在复制之前执行。比如在server1上执行一些drop、delete的清理操作，接着在server2上执行change的操作，会使得server2也进行server1的清理操作。
MySQL主从同步是在MySQL主从复制(Master-Slave Replication)基础上实现的，通过设置在Master MySQL上的binlog(使其处于打开状态)，Slave MySQL上通过一个I/O线程从Master MySQL上读取binlog，然后传输到Slave MySQL的中继日志中，然后Slave MySQL的SQL线程从中继日志中读取中继日志，然后应用到Slave MySQL的数据库中。这样实现了主从数据同步功能。
数据库服务器存在单点问题 数据库服务器资源无法满足增长的读写请求 高峰时数据库连接数经常超过上限
CentOs7.3 搭建 MySQL 5.7.19 主从复制，以及复制实现细节分析 概念 主从复制可以使MySQL数据库主服务器的主数据库，复制到一个或多个MySQL从服务器从数据库，默认情况下，复制异步; 根据配置，可以复制数据库中的所有数据库，选定的数据库或甚至选定的表。 MySQL中主从复制的优点 横向扩展解决方案 在多个从库之间扩展负载以提高性能。在这种环境中，所有写入和更新在主库上进行。但是，读取可能发生在一个或多个从库上。该模型可以提高写入的性能（由于主库专用于更新），同时在多个从库上读取，可以
上个文章，我们成功搭建了某个库的主从同步了，但是在正常的使用中，可能多少会有问题，遇到这些问题后需要如何快速恢复呢，下面就讲一些我自己遇到和客户这里遇到的一些问题，供大佬们参考
GTID，全称Global transaction identifiers，也称之为全局事务ID。MySQL-5.6.2开始支持，MySQL-5.6.10后完善，GTID 分成两部分，一部分是服务的UUid,UUID保存在mysql数据目录的auto.cnf文件中, 这是一个非常重要的文件，不能删除，这一部分是不会变的。下面是一个uuid的值举例：
这种主从复制环境在单机应用的时候没有问题，但是在实际的生产环境中，会存在复制延迟的问题。
多源复制的作用 MySQL 5.7.6 开始，添加了一个新特性：多源复制 Multi-Source Replication 可以让你同时从多个master中并行复制，也就是形成了一种新的主从复制结构 一从多主 图 以前都是一主多从的结构，想实现一从多主的复制需要自己想办法，现在好了，直接支持了 多源复制的应用场景示例： 比如我们分库后有多台数据库服务器，后台统计系统需要对数据进行汇总，就可以使用多源复制实现汇总功能 比如我们有多个项目，分为了多台数据库服务器，想使用主从复制进行数据备份，就可以使用多源复制，
从mysql3.23版本开始，mysql官方就开始提供主从复制，最简单的主从复制架构就是有两个mysql节点，一个作为主节点，用户可以进行读写，另外一台作为从节点，从节点只接受主节点同步过来的数据，相当于是数据的备份
从MySQL 5.6.5 开始新增了一种基于 GTID 的复制方式。通过 GTID 保证了每个在主库上提交的事务在集群中有一个唯一的ID。这种方式强化了数据库的主备一致性，故障恢复以及容错能力。 GTID (Global Transaction ID)是全局事务ID,当在主库上提交事务或者被从库应用时，可以定位和追踪每一个事务，对DBA来说意义就很大了，我们可以适当的解放出来，不用手工去可以找偏移量的值了，而是通过CHANGE MASTER TO MASTER_HOST='xxx', MASTER_AUTO_POSITION=1的即可方便的搭建从库，在故障修复中也可以采用MASTER_AUTO_POSITION=‘X’的方式。
半同步复制在提交过程中增加了一个延迟：提交事务时，在客户端接收到查询结束反馈前必须保证二进制日志已经传输到一台备库上。
今天我们来详细了解一下主从同步延迟时读写分离发生写后读不到的问题，依次讲解问题出现的原因，解决策略以及 Sharding-jdbc、MyCat 和 MaxScale 等开源数据库中间件具体的实现方案。
MySQL5.7 默认参数下我们开启了半同步，在一个事务提交（commit） 的过程时，在 MySQL 层的 write binlog 步骤后，Master 节点需要收到至少一个 Slave 节点回复的 ACK （表示收到了binlog ）后，才能继续下一个事务；
内容来源：2017年7月22日，UCloud高级研发工程师王松磊在“饿了么技术沙龙【第九弹】上海研发中心·运维专场”进行《数据库高可用架构》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。 阅读字数：3280 | 9分钟阅读 摘要 分享UCloud在数据库高可用上的最佳实践。首先介绍MYSQL常见的高可用方式，并分析其存在的问题，然后给出UCloud对此的思考和解决方法。 嘉宾演讲视频及PPT回顾：http://suo.im/2obXuQ MySQL
#binlog format有三种形式：Statement、Mixed、Row，默认设置为mixed
在mysql5.4.1之前只存在这种复制模式，在mysql5.7前默认使用这种格式。
上一篇发了MySQL主从复制集群搭建流程，不过好像小伙伴们对这个文章并不感兴趣，但是老哥出于对技术的热爱，和对小伙伴们的负责，我还是要写主从复制另一种实现方式：GTID。这些技术真的蛮重要的，希望你们能学习。
3、一个GTID在一个服务器上只执行一次，避免重复执行导致数据混乱或者主从不一致。
内容为慕课网的《高并发 高性能 高可用 Mysql 实战》视频的学习笔记内容和个人整理扩展之后的笔记，这一节讲述搭建Mysql三高架构中的复制，Mysql的复制在实战中实现比较简单，但是Mysql针对复制的内部优化却是一直在进行，这样说明这是值得重视和学习的内容，所以本节针对复制这一特征介绍相关的理论内容。
MySQL主从复制（MySQL Replication）是指从一个MySQL主服务器(master)将数据拷贝到另一台或多台MySQL从服务器(slaves)的过程。将主数据库的DDL和DML操作通过二进制日志（binlog）传到从服务器（slave）上，然后在从服务器上对这些日志重新执行，从而使得主从服务器的数据保持同步。 MySQL从3.23版本开始提供复制的功能。
为了保证高可用，之前在测试环境部署了一套 MySQL 双主模式，当一个主库服务出现异常，可以将流量切到另外一个主库，两个主库之间相互同步数据。
Roy，携程软件技术专家，负责MySQL双向同步DRC和数据库访问中间件DAL的开发演进，对分布式系统高可用设计、数据一致性领域感兴趣。
主要介绍：复制功能介绍、mysql二进制日志、mysql复制拓扑、高可用框架、单点故障、读写分离和负载均衡介绍等 mysql复制功能介绍 mysql复制功能提供分担读负载 复制解决的问题 实现在不同服务器上的数据分布 利用二进制日志增量进行 不需要太多的带宽 但是使用基于行的复制在进行大批量的更改时会对带宽带来一定得压力，特别是跨IDC环境下进行复制 实现在不同服务器上的数据分布 实现数据读取的负载均衡 需要其他组件配合完成 利用DNS轮询的方式把程序的读连接到不同的备份数据库， 使用LVS，haproxy
MGR是MySQL数据库未来发展的一个重要方向。 MGR基础结构要求： 引擎必须为innodb,因为需事务支持在commit时对各节点进行冲突检查 每个表必须有主键，在进行事务冲突检测时需要利用主键值对比 必须开启binlog且为row格式 开启GTID，且主从状态信息存于表中（--master-info-repository=TABLE 、--relay-log-info-repository=TABLE），--log-slave-updates打开 一致性检测设置--transaction-write-set-extraction=XXHASH64 MGR使用限制： RP和普通复制binlog校验不能共存，需设置--binlog-checksum=none 不支持gap lock(间隙锁)，隔离级别需设置为read_committed 不支持对表进行锁操作（lock /unlock table）,不会发送到其他节点执行 ,影响需要对表进行加锁操作的情况，列入mysqldump全表备份恢复操作 不支持serializable(序列化)隔离级别 DDL语句不支持原子性，不能检测冲突，执行后需自行校验是否一致 不支持外键：多主不支持，单主模式不存在此问题 最多支持9个节点：超过9台server无法加入组
MHA（Master HA）是一款开源的 MySQL 的高可用程序，它为 MySQL 主从复制架构提供了 automating master failover 功能。MHA 在监控到 master 节点故障时，会提升其中拥有最新数据的 slave 节点成为新的master 节点，在此期间，MHA 会通过于其它从节点获取额外信息来避免一致性方面的问题。MHA 还提供了 master 节点的在线切换功能，即按需切换 master/slave 节点。
这两天在做MySQL方向上的版本升级和高可用改造，在这个过程当中，还是遇到了不少的问题。从资源问题到级连的复制关系，虽然没有肉眼可见的困难环节，但是小细节还是挺多的，一不留神，可能会让你前功尽弃。
昨天的一篇文章MySQL自增列主从不一致的测试(r12笔记第37天)，今天有不少网友向我确认一些细节，我想最近正好在看GTID的东西，可以揉在一起来说说。 GTID这个概念看似简单，实际上还是有
MySQL5.6加入了GTID的新特性，其全称是Global Transaction Identifier，可简化MySQL的主从切换以及Failover。GTID用于在binlog中唯一标识一个事务。当事务提交时，MySQL Server在写binlog的时候，会先写一个特殊的Binlog Event，类型为GTID_Event，指定下一个事务的GTID，然后再写事务的Binlog。主从同步时GTID_Event和事务的Binlog都会传递到从库，从库在执行的时候也是用同样的GTID写binlog，这样主从同步以后，就可通过GTID确定从库同步到的位置了。也就是说，无论是级联情况，还是一主多从情况，都可以通过GTID自动找到需要进行复制的点位，而无需像之前版本那样通过File_name和File_position来进行位置点的主从复制。
在生产环境中，我们经常会遇见MySQL主从复制断开的情况，在遇到主从复制断开是，通常情况，解决问题的步骤如下：
旧环境配置差一点(新环境的1/4的内存和CPU), 还是机械盘, 故想迁移到新环境
提示：公众号展示代码会自动折行，建议横屏阅读 「第一部分 GTID简介」 在MySQL5.6引入了GTID（Global Transaction Identifier）特性，它可以在集群中唯一标识一个事务，在MySQL主从复制时，从节点可以使用GTID来确定复制位点，用于取代使用binlog文件偏移量的传统方式，在发生主备切换时从节点可以自动在新主上找到正确的复制位置，大大简化了复杂复制拓扑下集群的维护，也减少了人为设置复制位点发生误操作的风险，另外，基于GTID的复制可以跳过已经执行过的事务，减少了数据发
网络上关于 MySQL 主从复制的文章很多都是讲解如何实现，以及部分实现原理，缺乏对 MySQL 主从复制的全面介绍。例如主从复制的模式(半同步模式和异步同步模式)、同步的原理(binary log+position，GTID)、主从复制的常见问题都缺乏一个全面的总结。
上篇解释了许多GTID的原理，以及在MySQL复制中所起的作用，并且进行了很多实验加以辅助说明。本篇演示如何从头开始一步步配置GTID复制。实验环境同https://wxy0327.blog.csdn.net/article/details/90081518#%E4%BA%8C%E3%80%81%E5%A4%8D%E5%88%B6%E5%AE%9E%E9%AA%8C%E7%8E%AF%E5%A2%83。这里只讨论在联机情况下进行配置，因为相对于空库或脱机等理想情况，联机配置复制的需求更为典型和常见。
GTID是一个基于原始mysql服务器生成的一个已经被成功执行的全局事务ID，它由服务器ID以及事务ID组合而成。这个全局事务ID不仅仅在原始服务器器上唯一，在所有存在主从关系 的mysql服务器上也是唯一的。正是因为这样一个特性使得mysql的主从复制变得更加简单，以及数据库一致性更可靠。本文主要描述了快速配置一个基于GTID的主从复制架构，供大家参考。 一、GTID的概念 1、全局事务标识：global transaction identifiers。 2、GTID是一个事务一一对应，并且全局唯一
领取专属 10元无门槛券
手把手带您无忧上云
