DRBD原理及特性概述

Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。其核心功能通过Linux的内核实现,比文件系统更加靠近操作系统内核及IO栈。DRBD是由内核模块和相关脚本而构成,用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。你可以把它看作是一种网络RAID。它允许用户在远程机器上建立一个本地块设备的实时镜像。

一、DRBD镜像特性及其工作原理

1、特性

实时性: 当应用对磁盘的数据进行修改时,复制立即发生。 透明性: 应用程序的数据存储在镜像设备上是独立和透明的,数据可存储在不同的服务器上。 同步镜像和异步镜像: a、同步镜像,当本地发申请进行写操作进行时,同步写到两台服务器上。 b、异步镜像,当本地写申请已经完成对本地的写操作时,开始对对应的服务器进行写操作。

2、原理图

file system->buffer cache ->drbd->disk scheduler->disk drivers

二、DRBD基础特性

1、资源

DRBD主要是对磁盘资源的管控,因此在DRBD模块中,资源是所有可复制移动存储设备的总称。
资源名: 
    资源名可以指定除了空格外 us-ascii 中的任意字符。
DRBD 设备: 
    DRBD 的虚拟块设备。它有一个主设备号为 147 的设备,默认的它的次要号码编从 0 开始。
    相关的块设备需命名为/ dev/ drbdm,其中 M 是设备的次要号码。
磁盘配置: 
    DRBD 内部应用需要本地数据副本,元数据。
网络配置: 
    各个对等接点间需要进行数据通信。

2、资源角色

DRBD角色: primary<->secondary 
主:  在主 DRBD 设备中可以进行不受限制的读和写的操作。
    他可用来创建和挂载文件系统、初始化或者是直接 I/O 的快设备,等等。
备:  
    接收所有来自对等节点的更新,不能被应用也不能被读写访问。主要目的是保持缓冲及数据一致性。
人工干预和管理程序的自动聚类算法都可以改变资源的角色。资源可以由被变换为主,以及主到备。

3、特性

支持复制传输数据完整性验证(验证算法:MD5、SHA-1、CRC-32C)

此特性针对在复制过程中由于网络传输原因导致的数据不一致。 DRBD对每个
要复制的块生成一个校验和(摘要信息),用来对peer端数据进行完整性校验,如果接收到的
块的校验和与source端的校验和不一致,将会要求重传。

resource <resource>
net {
data-integrity-alg <algorithm>;
}
...
}

支持在线设备验证

如果我们不在传输过程中对数据进行校验,我们仍然可以采用在线设备验证的方
式,原理同上,我们可以采用定时任务周期性的对数据进行验证。
默认情况下在线设备验证是未启用的,可以在配置文件/etc/drbd.conf添加。

resource <resource>
net {
verify-alg <algorithm>;
}
...
}

验证命令: drbdadm verify <resource>

磁盘IO错误处理策略

磁盘出现IO错误时候,我们应该采用何种策略呢? 
DRBD提供三种策略,分别是: detach 、 pass_on 、 call-local-io-error。
detach
    这是默认和推荐的选项。如果在节点上发生底层的磁盘 I/O 错误,它会将设备
    运行在 diskless 无盘模式下。所有的对节点的读写将会从对端节点进行,这种情况下虽然性能有所下降,
    但是仍然可以提供服务,很明显在高可用的情况下,这个策略使我们的首选。
pass_on
    drbd 会将 I/O 错误报告到上层。在主节点上,它会将其报告给挂载的文件系统,
    但是在此节点上就往往忽略(因此此节点上没有可以报告的上层)

local-io-error
    调用本地磁盘 I/O 处理程序中定义的命令。 这就需要有相应有让 local-io-error
    调用的资源处理程序处理错误的命令。这就给管理员留有足够自由的权力使用命令或者是脚
    本调用 local-io-error 处理 I/O 错误。

resource <resource> {
disk {
on-io-error <strategy>;
...
}
...
}

过期数据处理策略

过期数据不是不一致性数据,只是说secondary不再与priamry同步数据了, secondary相当于是
一个snapshot,这时候如果发生切换,那么可想而知,数据的一致性就会出现问题,我们需要通
过某些策略来防止这种情况的发生:当出现过期数据的时候, drbd的连接状态将会由connect变为
Wfconnection,这时候Pacemaker不会允许过期数据的节点提升为primary

暂停复制

对于一些网络状态不好的情况,如果我们采用协议C进行复制,那么数据复制延时将会很严重,
这时候我们可以采用暂停复制的策略,这样当网络状况不好的时候, primary端将会暂停复制,
primary和secondary将会处于链式的不同步状态,当带宽变为可用的时候,复制将会继续进行。

同步速率配置

可以根据网络带宽或网络资源状况配置同步速率以及使用临时速率,可变速率等。
同步速率设置的超过网络的最大可用带宽也是没有任何意义的。
请注意,同步的速率是 bytes 字节,而不是 bits/s。
resource <resource>
disk {
sync-rate 40M;
...
}
...
}
根据经验同步速率比较合理的是可用带宽的 30%。
计算公式:   MIN(I/O子系统,网络I/O)*0.3
假定一个 I/O 子系统能支持 180MB/s 的吞吐量, 而千兆网络可支持 110MB/s,
此时网络带宽会成为瓶颈,可以计算出,同步速率:110*0.3=33MB/s

假定一个 I/O 子系统能支持 80MB/s 的吞吐量,而千兆网络可支持 110MB/s,
此时磁盘I/O会成为瓶颈,可以计算出,同步速率:80*0.3=24MB/s

脑裂通知和自动恢复

split brain实际上是指在某种情况下,造成drbd的两个节点断开连接,都以primary的身份来运行。当drbd某primary节点连接对方节点准备发送信息的时候如果发现对方也是primary状态,那么会立刻自行断开连接,并认定当前已经发生split brain了,这时候他会在系统日志中记录以下信息:“Split-Brain detected,dropping connection!”当发生split brain之后,如果查看连接状态,其中至少会有一个是StandAlone状态,另外一个可能也是StandAlone(如果是同时发现split brain状态),也有可能是WFConnection的状态。

自动处理:
    a、 Discarding modifications made on the younger primary
        ---后切换成primary角色的节点数据将会被丢弃
    b、 Discarding modifications made on the older primary
        ---先切换成primary角色的节点数据将会被丢弃
    c、 Discarding modifications on the primary with fewer changes 
        --–哪个节点更改的数据少就丢弃
    d、 Graceful recovery from split brain if one host has had no intermediate changes
        ---如果有节点根本没有更新数据,就直接恢复

drbd 脑裂主要在 net 配置,有以下关键字:
after-sb-0pri:裂脑已经被探测到,但是现在没有节点处于主角色,对于这个选项, drbd 有以下关键字:
    disconnect:
        不需要自动恢复,仅仅是调用裂脑处理程序的脚本(如果配置了),断开连接并出在断开模式。
    discard-younger-primary:
        放弃和回滚最后成为主的上面所做的修改。
    discard-least-changes:
        放弃和回滚,变动比较少的主机上的修改。
    discard-zero-changes:
        如果任何节点都没有发生任何变化,仅仅申请在一个节点上做出继续修改即可。

after-sb-1pri:裂脑已经被探测到,现有有一个节点处于主角色,对于这个选项, drbd 有以下关键字:
disconnect:
    和 after-sb-0pri 一样, 调用裂脑处理程序的脚本(如果配置了),断开连接并出在断开模式。
consensus:
    和 after-sb-0pri 中同样的修复策略。 如果利用这些策略裂脑危害能选择,那就能自动解决。 否则,同样断开指定的动作。
call-pri-lost-after-sb:
    和 after-sb-0pri 中同样的修复策略。如果利用这些策略裂脑危害能选择,就在受危害的节点上调用 
    pri-lost-after-sb 程序。这个程序必须确认在 handlers 中配置,并考虑到从集群中移除该节点。
discard-secondary:
    不管哪个主机只要处于次角色,都是裂脑的危害者。

after-sb-2pri:在两个节点都处于主角色时,裂脑被发现。次选项使用和after-sb-1pri同样的关键字,丢弃次节点并达成共识。

配置示例:
resource <resource> {
handlers {
split-brain "/usr/lib/drbd/notify-split-brain.sh root" //<handler>可能是目前系统中一个可执行的文件。
...                                        //e.g. split-brain "/usr/lib/drbd/notify-split-brain.sh root";
}                                          //如上通过电子邮件的方式发送到指定的地址。
net {                                     
after-sb-0pri discard-zero-changes;        //脑裂的相关自动修复策略
after-sb-1pri discard-secondary;
after-sb-2pri disconnect;
...
}
...

手动处理
    首先在确定要作为secondary的节点上面切换成secondary并放弃该资源的数据
        drbdadm secondary <resource>
        drbdadm connect --discard-my-data <resource>
    在要作为primary的节点重新连接secondary(如果这个节点当前的连接状态为WFConnection的话,可以省略)
        drbdadm connect <resource>
    当作完这些动作之后,从新的primary到secondary的re-synchnorisation会自动开始。

三、DRBD的复制模式及复制协议

1、复制模式

单主模式:
在单主模式下, 任何资源在任何特定的时间,集群中只存在一个主节点。 正是因为这样在集群中
只能有一个节点可以随时操作数据,这种模式可用在任何的文件系统上( EXT3、 EXT4、 XFS等等)。

双主模式:
在双主模式下,任何资源在任何特定的时间,集群中都存在两个主节点。犹豫双方数据存在并发
的可能性,这种模式需要一个共享的集群文件系统,利用分布式的锁机制进行管理,如 GFS 和
OCFS2。部署双主模式时, DRBD 是负载均衡的集群,这就需要从两个并发的主节点中选取一个首选的
访问数据。这种模式默认是禁用的,如果要是用的话必须在配置文件中进行声明。(DRBD8.0 之后支持)

2、复制协议

协议A: 
    数据一旦写入磁盘并发送到网络中就认为完成了写入操作。
    在一个节点发生故障时,可能发生远程节点上的数据可能仍在发送队列导致数据丢失。
协议B: 
    收到接收确认就认为完成了写入操作。
    数据丢失可能发生在参加的两个节点同时故障的情况下。
协议C: 
    收到写入确认就认为完成了写入操作。无数据丢失,主流配置,I/O 吞吐量依赖于网络带宽。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏python3

thinkphp3关闭日志

10120
来自专栏SDNLAB

RYU多控制器通信

25960
来自专栏蓝天

自己动手提高ubuntu系统的性能(EXT3)

  在内核设置层面之上,还有很多个人用户配置的参数,ulimit命令就是bash下提供的,查看对指定应用的限制值的工具。你可以通过ulimit –a命令显示当前...

9520
来自专栏腾讯云数据库(TencentDB)

CynosDB的计算层设计优化揭秘——兼容PostgreSQL版

CynosDB 是腾讯数据库研发团队推出的自研数据库,有PostgreSQL和MySQL两个版本。本文以兼容PostgreSQL版CynosDB为例,介绍我们的...

15.3K40
来自专栏达摩兵的技术空间

前端文件下载通识篇

前端如何实现下载文件呢?随着前端技术的发展,越来越多的前端需求中会出现下载文件这样的需求。

80120
来自专栏安斌的专栏

再说TCP神奇的40ms

本文结合具体的 tcpdump 包,分析触发 delay ack 的场景,相关的内核参数, 以及规避的方案。

11.4K70
来自专栏北京马哥教育

如何用几个简单的命令改善你的Linux安全

在最开始,我们需要问的一个问题是:Linux是已经足够被安全加固了吗?答案当然是否定的。那些娴熟的攻击者所带来的危险是与日俱增的。每天、甚至是每小时都有新的漏洞...

18760
来自专栏Ryan Miao

session机制详解以及session的相关应用

session是web开发里一个重要的概念,在大多数web应用里session都是被当做现成的东西,拿来就直接用,但是一些复杂的web应用里能拿来用的sessi...

46270
来自专栏玉树芝兰

如何安装与连接MySQL?

本文用详细的步骤说明,帮助你一步步掌握MySQL的下载、安装和服务启动,客户端的安装、连接和测试。帮你避开初学MySQL使用中的那些坑。

12510
来自专栏Java后端技术栈

Apache Kafka:下一代分布式消息系统

Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在...

11310

扫码关注云+社区

领取腾讯云代金券