Orchestrator 是一款成熟的 MySQL 高可用中间件。采用 Go 语言编写,支持拓扑发现、集群重塑、拓扑恢复等功能。
主要功能 拓扑发现:Orchestrator 主动搜寻并记录 MySQL 节点的主从配置、复制状态等基础信息并进行拓扑映射。即使发生故障,它依然可以提供出色的可视化拓扑图。
集群重塑:Orchestrator 了解复制规则。它能准确识别复制类型:Binlog 位点复制、GTID 复制、伪 GTID 复制、Binlog Server。Orchestrator 还提供了复制检查功能,保证了副本的移动安全可靠。
拓扑恢复:Orchestrator 定义了 30 种故障模型,根据集群拓扑信息可精准识别故障类型。针对不同的故障类型还提供了 15 种恢复执行计划,大大降低了恢复失败的概率。
优势 相较于 MHA 它有以下优势:
可视化:Orchestrator 提供了整洁的可视化界面 拓扑发现:拓扑自动发现的能力,大大简化了集群管理 高可用:Orchestrator 自身基于 Raft 一致性算法实现高可用 安全:Orchestrator 强大的审计功能,让我们的每一步操作都有迹可循 精准:多达 30 种故障模型,大大降低了误切的可能性 高效:Orchestrator 为我们提供了 200+ 的 api 来帮助我们管理 MySQL 快速:3s 发现故障 7s 完成切换 高可用 Orchestrator 高可用的实现主要分为两步:
故障检测
函数入口:ContinuousDiscovery --> CheckAndRecover --> GetReplicationAnalysis
故障检测的工作周期为 1 秒,它的主要工作如上图所示:
集群拓扑信息获取:通过 select 语句从后端获取 Binlog 位点、探活是否有效、从库复制情况等集群拓扑信息; 定义故障类型:通过获取到的集群拓扑信息判定故障类型; 探测潜在故障:除了判定故障类型外还会探测集群可能存在的潜在故障。Orchestrator 一共定义了 err1236 在内的 15 种潜在故障类型; 故障恢复
函数入口:ContinuousDiscovery --> CheckAndRecover --> executeCheckAndRecoverFunction
故障恢复的工作周期也是 1 秒,它的主要工作如下:
获取恢复执行计划:Orchestrator 一共定义了 15 种执行计划,根据不同的故障类型它会选择不同的执行计划; leader 节点检查:Orchestrator 集群只有 leader 节点有权限执行恢复操作; 故障注册:对于每一个故障只有注册成功才能执行后续的恢复操作; 全局恢复设置检查:检查是否开启了全局恢复禁止,如果有则中断恢复; 执行步骤 1 中获取的执行计划; 调用 PostUnsuccessfulFailoverProcesses/PostFailoverProcesses 钩子 ; 执行计划 Orchestrator 定义了 15 种执行计划,本次详解故障类型 DeadMaster
故障定义:主节点无法访问,且所有从节点的复制都处于失败状态;
判断标准:1、主节点访问失败;2、从节点访问正常,且所有从节点复制都失败;
DeadMaster 的执行计划为:checkAndRecoverDeadMaster
函数入口:CheckAndRecover --> executeCheckAndRecoverFunction --> checkAndRecoverDeadMaster
详细流程如上图:
注册本次故障恢复; 调用 PreFailoverProcesses Hook ; 获取恢复类型:GTID、伪 GTID、Binlog 位点; 集群重塑:选主、集群拓扑调整; 给故障节点打上维护标签; 切换前地理位置检测:如果我们做了不允许跨 DC 故障转移的设置,本次恢复将中断; 检查新主的复制延时是否超过阀值,如果超过将中断本次恢复; 解析本次恢复,为本次恢复打上成功或者失败的标签; 新主执行:stop slave; 和 reset slave all; 新主执行:set read only false; 尝试旧主执行:set read only true; 在新主执行分离操作:在新主上利用 change master to master_host="//host" ... 命令给 master_host 加上注释标签,防止旧主复活后新主重新挂载。这一步和第 9 步互斥; 替换集群名; 调用 PostMasterFailoverProcesses Hook; 集群重塑 执行计划中最为关键的就是 RegroupReplicasGTID (集群重塑)这一步,接下来我们继续分析 Orchestrator 的集群重塑;
集群重塑一共有三个主要工作:选主、复制检查、结构调整;
选主
同 DC、同物理环境检查 提升权限检查:must > prefer 副本有效性检查:检查副本是否开启 Binlog、检查副本是不是伪副本( Binlog Server) 提升权限被禁止检查:候选副本被禁止参与选主(被禁止包含:PromoteRule 禁止和配置文件中 PromotionIgnoreHostnameFilters 参数禁止) 版本检查:版本不低于集群中大多数版本 Binlog 格式检查:Binlog 格式不小于集群中的最大 binlog 格式(比较规则:ROW>MIX>STATEMENT) 复制检查
主要是执行有效从节点到新主节点的复制可行性检查,具体如下:
检查新主是否开启 Binlog 日志; 检查新主是否开启 log_slave_updates 参数; 从节点和主节点版本比较:从库是否比主库版本小、从库是否是 Binlog server; 从库在开启 Binlog 和 log_slave_updates 的情况下检查从库的 Binlog 格式是否低于新主; 排除被复制筛选掉的从节点(VerifyReplicationFilters 参数控制开关); 检查 sever id 是否相等; 检查 uuid 是否相等且不得为空; 检查是否从库 sqldelay < 新主 sqldelay 且主库 sqldelay > ReasonableMaintenanceReplicationLagSeconds 参数; 结构调整
结构调整主要分为三步:
StopReplication: 1、从节点有效性检查; 2、执行 stop slave; ChangeMasterTo: 1、检查从节点 io 线程和 sql 线程是否停止; 2、新主 hostname 解析; 3、执行 change master to master_host=?, master_port=?; StartReplication:执行 start salve;