项目早期通过三台机器搭建了Redis高可用集群,每台机器部署两个redis实例,形成三主三从节点。故障发生于一台机器宕机,导致整个Redis集群异常,最终影响网关安全认证失败,拒绝了所有交易请求。
Redis集群异常原因: 故障机器运行了集群两个master节点,宕机后导致集群选举机制异常,不能自动进行主从切换。Redis集群高可用传送门
机器宕机原因: redis运行主要依赖内存,RDB期间会消耗大量内存,内存不足导致机器异常。
1.手动进行redis主从切换
redis-cli -h 从节点ip端口 -p 从节点端口 -a 密码 -c cluster failover taskover
3.巡检redis集群状态,检查主机存在一套redis集群两个master节点的,进行手动切换
4.集群优化,三机器三主三从优化成七机器三主四从
5.余量客户隐患消除
通过这次线上问题看到很多不成熟地方: 1.监控机制覆盖不够全面,没监控同一台机器存在双master场景; 2.机器资源分配评估不到位,没考虑极端RDB场景; 3.高可用部署方案存在隐患,不满足官方集群最小建议模式,修改官方方案没有做详细评估;
自己从研发角度看待这个事情,对高可用底层原理、中间件熟悉度不够,除了加强原理,还要多做实操验证,另外监控覆盖不到位留下隐患。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。