文档中心>混沌演练平台>故障动作库>云数据库>云数据库 MySQL 主节点故障演练案例

云数据库 MySQL 主节点故障演练案例

最近更新时间:2024-07-03 11:48:21

我的收藏

背景

云顾问 - 混沌演练提供模拟云数据库 MySQL 主节点故障的场景故障动作,您可以使用该故障动作来验证您的业务 MySQL 灾备能力及整体高可用能力。
注意:
该故障动作需要您的云数据库 MySQL 实例为多节点架构,若不满足该条件,则无法执行该故障动作。您可前往 云数据库 MySQL 控制台 查看实例架构类型以及调整实例架构。

故障描述

该故障会向实例注入致命错误,来模拟多节点架构实例主节点故障。在故障动作执行期间会出现短暂数据库连接断开或者无法连接状况,进而造成数据库无法访问,请谨慎操作!故障注入后,MySQL 实例会进行主从切换,原从节点会成为新主节点,并会在原主可用区拉起新节点作为新备节点。

演练实施

步骤一:演练准备

一台 云数据库 MySQL 实例,双节点架构。
一台 CVM 实例,用于测试连接 MySQL 实例。

步骤二:演练编排

1. 登录 云顾问 > 混沌演练控制台,进入演练管理页面,单击新建演练。
2. 单击跳过,新建空白演练。



3. 填写演练信息,选择演练目标云数据库 MySQL 实例。



4. 添加 MySQL 主节点故障演练动作。单击下一步



5. 为故障动作配置动作参数信息,并单击确定。



6. 动作参数配置完成后,单击下一步。确定所有配置之后,单击提交,完成演练创建。




步骤三:执行演练

故障执行过程中,会触发 MySQL 实例主节点故障并发生主从切换,可以通过 云数据库 MySQL 控制台 接收到告警通知以及观测到实例主从节点架构变化。

故障前:



观察 MySQL 实例主备节点所在可用区。使用 CVM 实例登录当前 MySQL 实例,建立一个客户端连接。


单击右上角一键诊断可进入数据库智能管家 DBbrain 可查看到当前 CVM 建立的连接。




执行演练:

在演练详情页,演练动作组中,点击执行,开始执行演练。故障动作开始执行后,可前往 云数据库 MySQL 控制台 观察告警以及节点变化。



故障执行成功之后,可在 云数据库 MySQL 控制台 看到故障效果,即故障后原备节点被提为主节点,并在原主节点所在可用区重新拉起了一个新节点作为备节点;并且右上角可收到异常告警(数据来自 数据库智能管家 DBbrain 巡检)。



您还可前往 云数据库 MySQL 控制台-任务列表 栏观察到执行该故障的任务详情。




故障后实例监控

MySQL 主节点故障后,可以通过实例监控面板观测到主节点故障时,当前实例出现短暂不可用的情况。



在此期间使用 CVM 执行 sql,原连接已经断开,需要重连。



同时 DBbrain 会话监控原连接已经不存在,新连接出现。