在etcd集群中，如果出现网络分区或节点失联等情况，可能会导致脑裂（split-brain）现象的发生。脑裂指的是一个集群中的不同部分独立地对外提供服务，而且这些部分互相不可见、不可达。这会导致etcd中存储的数据出现不一致的情况，进而影响到整个系统的稳定性和可用性。本文将介绍etcd集群脑裂的原因以及如何处理。
这是一个被广为流传的误解，众所周知 etcd 使用 Raft 协议来解决数据一致性问题。一个 Raft Group 只能有一个 Leader 存在，如果一旦发生网络分区，Leader 只会在多数派一边被选举出来，而少数派则全部处于 Follower 或 Candidate 状态，所以一个长期运行的集群是不存在脑裂问题的。etcd 官方文档也明确了这一点：
在众多postgresql 高可用模式中，主要的参与者有两位， Patroni VS repmgr 基于这二者的功能优点以及缺点相信大部分人都不是太明确，下面将根据两篇翻译的文字合并，来对两个高可用的程序来做一个比较， cons and pros。
程序运行中，并发性操作很常见，比如同一个分布式系统中的多个节点，同时访问一个共享资源（数据库，分布式存储）
在这些可选项中，最常见的就是基于主从复制的方案，其次是基于Galera的方案，我们重点说说这两种方案。其余几种方案在生产上用的并不多，我们只简单说下。
首先，分布式系统的首要目标是提升系统的整体性能和吞吐量。如果最终设计出来的分布式系统占用了10台机器才勉强达到单机系统的两倍性能，那么这个分布式系统还有存在的价值吗？另外，及时采用了分布式架构，也仍然需要尽力提升单机上的程序性能，是的整体性能达到最高。所以，我们忍让需要掌握高薪更难单机程序的设计何编程技巧，例如多线程并发编程、多进程高性能IPC通信、高性能的网络框架等。
分布式系统从诞生发展到现在已经走过十几个年头了，其中伴随着一些很重要的基础理论，正式这些影响深渊的基础理论，奠定了分布式系统的见识基础，造就了分布式领域的一座座宏伟大厦。为了练就一身武功，让我们从这些
PostgreSQL 的 Patroni 是一个系列, 目前已经写到了 4 , 实际我也不知道应该写到多少结束.
kubernetes 虽然具有故障自愈和容错能力，但某些组件的异常会导致整个集群不可用，生产环境中将其部署为高可用还是非常有必要的，本文会介绍如何构建一个高可用的 Kubernetes 集群。kuber-controller-manager 和 kube-scheduler 的高可用官方已经实现了，都是通过 etcd 全局锁进行选举实现的，etcd 是一个分布式，强一致的（满足 CAP 的 CP）KV 存储系统，其天然具备高可用。而 apiserver 作为整个系统的核心，所有对数据的修改操作都是通过 apiserver 间接操作 etcd 的，所以 apiserver 的高可用实现是比较关键的。
所谓脑裂，就是指两个或多个节点都“认为”自身是正常节点而互相“指责”对方，导致不能选取正确的节点进行接管或修复，导致脑裂状态。这种现象出现在数据修复、集群管理等等高可用场景。
这样的方式可以确保leader的唯一性,要么选出唯一的一个leader,要么选举失败。在zookeeper中Quorums作用如下： 1] 集群中最少的节点数用来选举leader保证集群可用。 2] 通知客户端数据已经安全保存前集群中最少数量的节点数已经保存了该数据。
第一部分：高可用设计 一、Openshift架构 Openshift架构如上图，其核心组件有： ●Multiple Masters ●External etcd ●Routers ●Registr
# gluster volume heal VOLNAME info split-brain
目前大多数项目都在往分布式上发展，一旦系统采用分布式系统，便会引入更多复杂场景和解决方案。比如，当你在系统中使用了Elasticsearch、ZooKeeper集群时，你是否了解过集群的“脑裂”现象？又是否知道它们是如何解决脑裂问题的？
Redis 脑裂问题是指，在 Redis 哨兵模式或集群模式中，由于网络原因，导致主节点（Master）与哨兵（Sentinel）和从节点（Slave）的通讯中断，此时哨兵就会误以为主节点已宕机，就会在从节点中选举出一个新的主节点，此时 Redis 的集群中就出现了两个主节点的问题，就是 Redis 脑裂问题。
本文的主角是 etcd。名称 “etcd” 源自两个想法，即 unix “/etc” 文件夹 和 “d” 分布式系统。“/etc” 文件夹是用于存储单个系统的配置数据的位置，而 etcd 用于存储大规模分布式的配置信息。因此，分配了 “d” 的 “/etc” 就是 “etcd”。
因为master -> slave的复制是异步的，所以可能有部分数据还没复制到slave，master就宕机了，此时这些部分数据就丢失了
1、DRBD开机自自动(chkconfig --add drbd)，需要注意一下wait time out选项： wfc-timeout 120; 如果为0的话，它会无限的等待下去； 在配置高可用如keepalived时候，要注意 先保证drbd数据的一致性；然后在启动keepalived 小插曲： 在linux 自起中，先运行 /etc/rc.d/rc#. d 里面设定的脚本，最后是/etc/rc.local ，如果同样是在某运行级别下的脚本，根据S后面的数字，数字越小优先级越高，所以drbd的数字要比keepalived的小一些； 2、磁盘IO故障 推荐配置为 detach 策略；这个时候主从角色状态没有改变，磁盘状态变为diskless（这个需要监控）； 模拟实验： drbd-primary： drbdadm detach all; 此时磁盘还处于挂接状态；为了正常切换角色，执行以下命令： drbdadm secondary all; umount /dev/drbd0; 在drbd-secondary 上执行： drbdadm primary all; mount /dev/drbd0 /data 3、更换磁盘 如果secondary节点出现磁盘故障需要换硬盘： 注意：新添加的硬盘的磁盘名如果被占用，需要修改配置文件！ 进行的操作： drbdadm create-md all service drbd start drbdadm attach all drbdadm secondary all 以上情况 属于内部元数据， 下面可以看看使用外部元数据更换硬盘； 除以上操作外，还有进行 drbdadm invalidate all 即进行以下操作： drbdadm create-md all drbdadm attach all drbdadm invalidate all drbdadm secondary all 4、处理节点故障： 当primary node 出现故障后，Drbd并不升级存活的节点到主，需要集群管理程序重要做。 切换完毕后需要做 的事情： 1）将出现故障的硬件替换为与之类似性能和容量的磁盘。(性能最好一致；替换为磁盘容量比较小,会导致drbd拒绝连接被替换的节点。) 2）安装基本系统和应用程序。 3）安装drbd并从幸存的节点上拷贝/etc/drbd.conf和所有的/etc/drbd.d 4）drbdadm create-md resource （创建元数据设备） 5）service drbd start 6）drbdadm attach resource （将drbd资源和后端设备连接 ） 7）drbdadm syncer resource （设置drbd资源的同步参数） 8）drbdadm connect resource （连接对等节点） Look：千万不要初始化设备， 5、脑裂问题处理 DRBD检测到primary 恢复连接并变成可用，和对等节点达成初步的握手。如果drbd检测到两个节点（也可能是两个节点断开时）都是主角色，它就连接关闭复制的连接。可以在系统日 志中发现：Split-Brain detected, dropping connection! 一个节点将保持始终以StandAlone状态连接资源，另外一个节点也可能处于StandAlone状态（如果两个节点被探测到同时处于裂脑状态），也可能是WFConnection状态（如果对等接在 还没有来得及探测到裂脑就down掉的话）。 必须手工干预选择丢失一个节点的修改被丢失（这个节点被称为裂脑受害者），除非配置drbd的裂脑自动修复。 （在出现脑裂的情况下，service drbd stop 是不会生效的，返回会hang住，一直处于等待状态） 在需要放弃修改的那一端做如下操作： drbdadm secondary <resource> drbdadm -- --discard-my-data connect <resource> 在其他节点上（裂脑幸存者），如果它的状态也为StandAlone状态，可输入以下命令： drb
因为master -> slave的复制是异步的（客户端发送给redis，主节点数据同步到内存中后就返回成功了） 所以可能有部分数据还没复制到slave，master就宕机了，此时master内存中的数据也没了，这些部分数据就丢失了。
脑裂(split-brain)就是“大脑分裂”，也就是本来一个“大脑”被拆分了两个或多个“大脑”，我们都知道，如果一个人有多个大脑，并且相互独立的话，那么会导致人体“手舞足蹈”，“不听使唤”。
主从集群有1个主库、5个从库和3个哨兵实例，突然发现客户端发送的一些数据丢了，直接影响业务层数据可靠性。
由于 master => slave的复制是异步的，所以可能有部分数据还没复制到slave，master就宕机，于是这些数据就丢失了
关于集群中的"脑裂"问题，之前已经在这里详细介绍过，下面重点说下Zookeeper脑裂问题的处理办法。ooKeeper是用来协调（同步）分布式进程的服务，提供了一个简单高性能的协调内核，用户可以在此之上构建更多复杂的分布式协调功能。脑裂通常会出现在集群环境中，比如ElasticSearch、Zookeeper集群，而这些集群环境有一个统一的特点，就是它们有一个大脑，比如ElasticSearch集群中有Master节点，Zookeeper集群中有Leader节点。
本文重点讲解ZooKeeper脑裂问题的处理办法。ZooKeeper是用来协调（同步）分布式进程的服务，提供了一个简单高性能的协调内核，用户可以在此之上构建更多复杂的分布式协调功能。脑裂通常会出现在集群环境中，比如Elasticsearch、ZooKeeper集群，而这些集群环境有一个统一的特点，就是它们有一个大脑，比如Elasticsearch集群中有Master节点，ZooKeeper集群中有Leader节点。
要了解什么是脑裂，首先我们要明白es集群的组成。ES集群由一个主节点（多个备选节点组成）和多个数据节点组成的，主节点负责创建，删除索引，分配分片，追踪集群的节点状态等工作，即是调度节点，计算压力比较低，而数据节点负责数据存储与具体的操作，比如搜索，聚合等任务，计算压力比较大。
此时哨兵可能就会认为M宕机了，然后开启选举，将其他S切换成M。这时，集群里就会有两个M-脑裂
是指在主从集群中，同时有两个主节点，它们都能接收写请求。而脑裂最直接的影响，就是客户端不知道应该往哪个主节点写入数据，结果就是不同的客户端会往不同的主节点上写入数据。而且严重的话，脑裂会进一步导致数据丢失；
在分布式系统架构中，高可用性是一个至关重要的话题。然而，即使在高度可用的设计中，由于网络故障或节点故障等原因，仍然可能出现脑裂（Split Brain）问题，即集群中的不同部分在没有明确通信的情况下产生了分离状态。本文将深入探讨脑裂问题，以及Redis哨兵在此背景下的选举算法和解决方案。
在集群中，节点间通过心跳来了解彼此的健康状态，以确保各节点协调工作。假设只有“心跳”出现问题，但各个节点还在正常运行，这时，每个节点都认为其它的节点宕机了，自己才是整个集群环境中的“唯一健在者”，自己应该获得整个集群的“控制权”。在集群环境中，存储设备都是共享的，这就意味着数据灾难。简单点说，就是如果由于私有网络硬件或软件的故障，导致集群节点间的私有网络在一定时间内无法进行正常的通信，这种现像称为脑裂。在发生脑裂情况后，集群的某些节点间的网络心跳丢失，但磁盘心跳依然正常，集群根据投票算法（Quorum Algorithm）将不正确的节点踢出集群。磁盘心跳的主要目的是当集群发生脑裂时可以帮助指定脑裂的解决方案。
在节点处于“NotReady”状态时，deployment控制器会迁移节点上的容器实例，并将节点上运行的pod置为“Terminating”状态。待节点恢复后，处于“Terminating”状态的pod会自动删除。偶现部分pod（实例）一直处于“Terminating ”状态，发现这部分的pod没有得到重新调度，不能提供服务。
在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，就分裂成为2个独立的个体。由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享资源”、争起“应用服务”，就会发生严重后果——或者共享资源被瓜分、2边“服务”都起不来了；或者2边“服务”都起来了，但同时读写“共享存储”，导致数据损坏（常见如数据库轮询着的联机日志出错）。
关于集群中的"脑裂"问题，之前已经在这里详细介绍过，下面重点说下Zookeeper脑裂问题的处理办法。脑裂通常会出现在集群环境中，比如ElasticSearch、Zookeeper集群，而这些集群环境有一个统一的特点，就是它们有一个大脑，比如ElasticSearch集群中有Master节点，Zookeeper集群中有Leader节点。
1、在线调整参数： 对现有资源的配置文件进行修改，两个对等节点要保持一致，然后执行 drbdadm adjust <resource> 在两个节点上都要执行； 2、在线校验数据完整性；（这个对性能还是有很大影响的） 它通过验证源对每个底层的设备某一资源的块存储设备一次计算出加密摘要，传输到对等节点，对摘要对应的本地副本块进行验证，若不匹配，则进行标识并进行重新同步，在线验证过程中不会阻塞资源的复制，不会造成系统的中断； 操作方式： 配置文件中修改：
如果因为网络的故障，导致一个集群被划分成了两片，每片都有多个node，以及一个master，那么集群中就出现了两个master了。
如果发生网络中断或者服务器宕机，那么集群会有可能被划分为两部分，各自有自己的master来管理，那么这就是脑裂。
所谓的脑裂问题，就是在多机热备的高可用 HA 系统中，当两个节点心跳突然断开，就分裂为了两个独立的个体，由于互相失去联系，都认为对方出现了故障，因此都会去争抢对方的资源，争抢启动，由此就会发生严重的后果。 举个形象的例子，A 和 B 作为一个双机热备集群的两个节点，各自持有集群的一部分数据 — a 和 b，这时，两机器之间突然无法通信，A 认为 B 已经挂掉，B 认为 A 已经宕机，于是会出现：
所谓的脑裂，就是指在主从集群中，同时有两个主节点，它们都能接收写请求。而脑裂最直接的影响，就是客户端不知道应该往哪个主节点写入数据，结果就是不同的客户端会往不同的主节点上写入数据。而且，严重的话，脑裂会进一步导致数据丢失。
来源: https://martinfowler.com/articles/patterns-of-distributed-systems/
组建MySQL集群的几种方案 LVS+Keepalived+MySQL（有脑裂问题？但似乎很多人推荐这个） DRBD+Heartbeat+MySQL（有一台机器空余？Heartbeat切换时间较长？有脑裂问题？） MySQL Proxy（不够成熟与稳定？使用了Lua？是不是用了他做分表则可以不用更改客户端逻辑？） MySQL Cluster （社区版不支持INNODB引擎？商用案例不足？） MySQL + MHA （如果配上异步复制，似乎是不错的选择，又和问题？） MySQL + MMM （似乎反映有很多问
GlusterFS是一种分布式文件系统，项目中使用它作为数据文件冷备存储后台。GlusterFS的技术特点是采用无元数据中心的架构，采用Xlator以调用栈的形式组织各功能模块，Xlator之间通过RPC进行通信，客户端与服务端共用某些Xlator，下图就是Gluster客户端与服务端的Xlator栈示意图。
ZooKeeper 的节点通常可以作为分布式锁来使用。比如可以多个服务对同时竞争申请一个节点 “/test/lock”，创建成功的服务获取到这个锁，其他没创建成功的监听这个锁，等到这个锁释放后再重新申请该锁。这样就实现了简单的分布式锁。 但同时在大量锁的情况下会有**“惊群”**的问题。“惊群”就是在一个节点删除的时候，大量对这个节点的删除动作有订阅Watcher的线程会进行回调，这对Zk集群是十分不利的。所以需要避免这种现象的发生。
脑裂（split-brain）：指在一个高可用（HA）系统中，当联系着的两个节点断开联系时，本来为一个整体的系统，分裂为两个独立节点，这时两个节点开始争抢共享资源，例如都去用同一个ip提供网页服务，结果会导致系统混乱，数据损坏。
脑裂（split-brain） 指在一个高可用（HA）系统中，当联系着的两个节点断开联系时，本来为一个整体的系统，分裂为两个独立节点，这时两个节点开始争抢共享资源，结果会导致系统混乱，数据损坏。 对于无状态服务的HA，无所谓脑裂不脑裂；但对有状态服务(比如MySQL)的HA，必须要严格防止脑裂。（但有些生产环境下的系统按照无状态服务HA的那一套去配置有状态服务，结果可想而知...） 如何防止HA集群脑裂 一般采用2个方法 1）仲裁 当两个节点出现分歧时，由第3方的仲裁者决定听谁的。这个仲裁者，可能是一个锁服
最近在使用K8S过程中，一直用到了一个Key-Value数据库Etcd,每当看到有介绍Etcd的教程时，介绍不多，大多都是独立于K8S集群之外，保存状态数据。再深入百度下，发现Etcd是一个可靠的，分布式的Key Value存储系统，它用于存储分布式系统中的关键数据，一个Etcd集群，通常会由3个或者5个节点组成，多个节点之间，通过一个叫做Raft一致性算法的方式完成分布式一致性协同，算法会选举出一个主节点作为leader，由leader负责数据的同步与数据的分发，当leader出现故障后，系统会自动地选取另一个节点成为leader，并重新完成数据的同步与分发。
在MySQL的高可用架构中，MHA、MGR等方法现在比较流行，mm+keepalive的方法目前来看是比较老旧的办法，今天对这种办法做一个简单的介绍，题目中写的"纸上谈兵"，是因为这个实验我没有做，也不打算做，旨在说明清除原理即可。
缓存穿透 什么是缓存穿透？ 客户端大量集中恶意访问一些不存在的数据，例如访问id=-1的数据，这样在缓存层就无法查询到该数据，直接击穿缓冲层，到达数据库端，导致数据库压力过大，最终停止服务。 解决方案 在代码层面做判断限制非法数据的请求； 使用布隆过滤器，记录key是否存在，不存在则直接返回，使请求不达到数据层面； 缓存击穿 什么是缓存击穿？ 缓存击穿是指因并发原因，大量数据请求同一个key值，而该key值刚好过期，导致所有请求都去数据库层面获取数据，最终导致数据库停止服务
一个典型的OCP高可用架构是：master至少应为三个，且为奇数个（上面有etcd）；
随着云计算、大数据等技术的普及，运维岗位在IT领域中的地位越来越重要。一个优秀的运维工程师不仅要具备扎实的技术基础，还需要具备良好的问题解决能力、团队协作精神和学习能力。因此，面试是选拔优秀运维工程师的关键环节。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
