专栏首页SQL/ORACLEMfs+drbd+keepalived实现mfs系统高可用

Mfs+drbd+keepalived实现mfs系统高可用

oosefs分布式文件系统是一个易用的系统,但其只有在Pro版中提供了master的高可用方案,免费版master只能单机运行,存在单点故障的隐患。

本文结合网上的相关资料,介绍通过drbd+keepalived来实现mfsmaster高可用的方案。

​环境:

CentOS 6

Master-primary IP: 172.18.18.201 (主机名test01)

Master-secondary IP: 172.18.18.202 (test02)

Mfschunkserver IP:172.18.18.203 (test03)

Master 虚拟IP:172.18.18.204

一、安装操作系统

安装CentOS 6系统。需注意:在安装mfsmaster服务器时,一定要划分出一个独立的分区给drbd使用,我这里用的是/dev/sda3,大小500MB。

二、安装drbd

2.1 环境准备

因drbd编辑安装时,需要用到CentOS内核代码,因此需下载对应内核的源码包到本地安装,不要用yum安装。

rpm -ikernel-devel-2.6.32-504.el6.x86_64.rpm

安装编译时需要的环境:

yum -y install gcc flex perl

2.2 drbd编辑安装

tar zxvf drbd-8.4.2.tar.gz

cd drbd-8.4.2

./configure --prefix=/usr/local/drbd–with-km

makeKDIR=/usr/src/kernels/2.6.32-504.el6.x86_64

–说明:这是实际内核源码路径,根据实际情况设定

make install

mkdir -p /usr/local/drbd/var/run/drbd

cp /usr/local/drbd/etc/rc.d/init.d/drbd/etc/rc.d/init.d

chkconfig --add drbd

chkconfig drbd on

安装DRBD模块:

cd /root/data/drbd-8.4.2/drbd

make clean

makeKDIR=/usr/src/kernels/2.6.32-504.el6.x86_64

cp drbd.ko/lib/modules/2.6.32-504.el6.x86_64/kernel/lib/

–说明:内核版本要用uname -r查一下

modprobe drbd

查看模块是否加载成功

lsmod |grep drbd

drbd 299688 0

libcrc32c 1246 1 drbd

2.3 drbd配置

vi/usr/local/drbd/etc/drbd.d/global_common.conf

global {

usage-count yes;

}

common {

net {

protocol C; 

}

}

vi /usr/local/drbd/etc/drbd.d/r0.res

resource r0 {

on test01 {

  device /dev/drbd1;

  disk /dev/sda3;

  address 172.18.18.201:7788;

  meta-disk internal;

  }

on test02 {

  device /dev/drbd1;

  disk /dev/sda3;

  address 172.18.18.202:7788;

  meta-disk internal;

  }

}

创建drbd资源:

dd if=/dev/zero of=/dev/sda3 bs=1Mcount=1 --一定要执行这个否则下一步会报错

drbdadm create-md r0

drbdadm up r0

以上操作在secondary (test02)上也执行一遍。

2.4 设置Primary Node

drbdadm primary --force r0

查看drbd状态:

cat /proc/drbd

1:cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r—n-

ns:108008 nr:0 dw:0 dr:109208 al:0 bm:6 lo:0 pe:1 ua:1 ap:0 ep:1 wo:foos:404428

     [===>................]sync'ed: 21.6% (404428/511948)K

     finish:0:00:33 speed: 11,944 (11,944) K/sec

2.5 创建drbd文件系统

在primary上:

mkfs.ext4 /dev/drbd1

mkdir drbddata

mount /dev/drbd1 /drbddata

2.6 drbd同步测试

在primary (test01)上,往/drbddata目录中写入测试文件后,执行:

umount /dev/drbd1

drbdadm secondary r0

然后在secondary (test02)上,执行:

mkdir drbddata

drbdadm primary r0

mount /dev/drbd1 /drbddata

此时,在/drbddata目录应能看到刚写入的测试文件!

三、安装mfs

3.1 环境准备

安装libpcap

yum –y install libpcap

3.2 安装mfsmaster

tar zxvfmoosefs-packages-linux-3.0.77.tar.gz

rpm -imoosefs-master-3.0.77-1.rhsysv.x86_64.rpm

3.3 配置mfsmaster

cd /etc/mfs

vi mfsmaster.cfg

确保修改:DATA_PATH = /drbddata

其它按默认参数设置。

以上操作在secondary (test02)上也执行一遍,完成两台服务器mfsmaster的安装。

3.4 mfsmaster启动测试

在primary上启动测试:

drbdadm primary r0

mount /dev/drbd1 /drbddata

chown mfs:mfs –R /drbddata

mfsmaster start

查看日志看mfsmaster是否启动成功。

在secondary上启动测试:

先将primary上服务停止:

mfsmaster stop

umount /drbddata

drbdadm secondary r0

再在secondary上执行:

drbdadm primary r0

mount /dev/drbd1 /drbddata

chown mfs:mfs –R /drbddata

mfsmaster start

测试成功后,进行下一步的安装。

四、安装keepalived

4.1 安装keepalived

tar zxvf keepalived-1.2.22.tar.gz

cd keepalived-1.2.22

./configure --prefix=/usr/local/keepalived --disable-fwmark

make

make install

cp /usr/local/keepalived/sbin/keepalived/usr/sbin/

cp /usr/local/keepalived/etc/sysconfig/keepalived/etc/sysconfig/

cp/usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

chkconfig --add keepalived

chkconfig keepalived on

4.2 配置keepalived

mkdir -p /etc/keepalived

cp/usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/

vi /etc/keepalived/keepalived.conf

global_defs {

notification_email {

shuyb@sina.com

}

notification_email_from shuyb@sina.com

smtp_server 192.168.200.1

smtp_connect_timeout 30

router_id test01

vrrp_skip_check_adv_addr

vrrp_strict

vrrp_garp_interval 0

vrrp_gna_interval 0

}

vrrp_script check_drbd {

script “/etc/keepalived/check_drbd.sh”

interval 15

}

vrrp_instance mfs {

state MASTER

interface p4p1

virtual_router_id 51

priority 100

advert_int 1

authentication {

    auth_type PASS

    auth_pass 1111

}

virtual_ipaddress {

172.18.18.204

}

track_script {

check_drbd

}

}

在/etc/keepalived下新增一个文件:

vi check_drbd.sh

#!/bin/bash

A=ps -C mfsmaster --no-header |wc -l

if [ $A -eq 0 ]; then

umount /dev/drbd1

drbdadm secondary r0

killall keepalived

fi

chmod +x check_drbd.sh

在secondary上安装步骤同上,配置文件如下:

vi /etc/keepalived/keepalived.conf

global_defs {

notification_email {

shuyb@sina.com

}

notification_email_from shuyb@sina.com

smtp_server 192.168.200.1

smtp_connect_timeout 30

router_id test01

vrrp_skip_check_adv_addr

vrrp_strict

vrrp_garp_interval 0

vrrp_gna_interval 0

}

vrrp_instance mfs {

state BACKUP

interface p4p1

virtual_router_id 51

priority 90

advert_int 1

authentication {

    auth_type PASS

    auth_pass 1111

}

virtual_ipaddress {

172.18.18.204

}

notify_master /etc/keepalived/master.sh

notify_backup /etc/keepalived/backup.sh

}

在/etc/keepalived下新增两个文件:

vi backup.sh

#!/bin/bash

mfsmaster stop

umount /dev/drbd1

drbdadm secondary r0

vi master.sh

#!/bin/bash

drbdadm primary r0

mount /dev/drbd1 /drbddata

mfsmaster start

chmod +x backup.sh master.sh

至此,安装配置完成。需要注意的是,要将服务器的防火墙关闭,或保证mfs需要用到的9420~9425端口、drbd用到的7788端口等打开!

五、安装mfschunkserver和mfs客户端

5.1在chunkserver(test03)上

yum install libpcap

rpm -imoosefs-chunkserver-3.0.77-1.rhsysv.x86_64.rpm

vi /etc/mfs/mfsmetalogger.cfg

修改:

MASTER_HOST = 172.18.18.204

vi /etc/mfs/mfshdd.cfg

增加:

/home

(注:/home是该服务器上给mfschunk用的目录,mount到一个独立的逻辑卷上)

chown -R mfs:mfs /home

5.2 在mfs客户端

yum install fuse-libs

rpm -imoosefs-client-3.0.77-1.rhsysv.x86_64.rpm

mkdir -p /mfs

六、启动及切换测试

好了,现在可以进行测试了!

1. 先把mfsmaster在primary上启动起来,步骤同上

2. 在primary上启动keepalived

/etc/init.d/keepalived start

查看虚拟ip是否绑定:

ip addr

3.在secondary上启动keepalived

/etc/init.d/keepalived start

  1. 启动mfschunkserver

mfschunkserver start

查看/var/log/message看与Master是否连接成功

  1. 客户端连接

mfsmount /mfs –H 172.18.18.204

df --查看是否挂载成功

  1. 停止primary上的mfsmaster

mfsmaster stop

  1. 查看secondary、chunkserver、client是否正常

测试完成。完成后,需手工将服务重新切回到primary上。

ps:当出现问题调转到backup后,如果主的正常了,我们手动切换必须遵守以下步骤

停掉mfsmaster服务

mfsmaster stop

      umount /dev/drbd1

     drbdadm secondary mfs

主机:

1.drbdadm primary mfs

    2.mount /dev/drbd1 /data1/drbd

    3.mfsmaster start

    4.keepalived start

还有要提到的就是可能会出现脑裂,这一般时操作不按顺序,也可能有其他原因,下面是网上大神写的,

复制代码 1,正常情况下状态: [root@drbd1 ~]# cat /proc/drbd version: 8.3.8 (api:88/proto:86-94) : 299AFE04D7AFD98B3CA0AF9 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r---- ns:2144476 nr:0 dw:36468 dr:2115769 al:14 bm:129 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

[root@drbd2 ~]# cat /proc/drbd

version: 8.3.8 (api:88/proto:86-94)

srcversion: 299AFE04D7AFD98B3CA0AF9

0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r----

ns:0 nr:2141684 dw:2141684 dr:0 al:0 bm:130 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

2,drbd1故障后

drbd1状态:

[root@drbd1 ~]# cat /proc/drbd

version: 8.3.8 (api:88/proto:86-94)

srcversion: 299AFE04D7AFD98B3CA0AF9

0: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown r----

ns:4 nr:102664 dw:102668 dr:157 al:1 bm:8 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

drbd2的状态:

[root@drbd2 ~]# cat /proc/drbd

version: 8.3.8 (api:88/proto:86-94)

srcversion: 299AFE04D7AFD98B3CA0AF9

0: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r----

ns:0 nr:2141684 dw:2141684 dr:0 al:0 bm:130 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

3,处理方法:

a,将secondary配置成primary角色

[root@drbd2 ~]# drbdsetup /dev/drbd0 primary -o

[root@drbd2 ~]# cat /proc/drbd

version: 8.3.8 (api:88/proto:86-94)

srcversion: 299AFE04D7AFD98B3CA0AF9

0: cs:WFConnection ro:Primary/Unknown ds:UpToDate/Outdated C r----

ns:0 nr:2141684 dw:2141684 dr:0 al:0 bm:130 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

挂载:

[root@drbd2 /]# mount /dev/drbd0 /data1

[root@drbd2 data1]# ll

total 10272

-rw-r–r-- 1 root root 10485760 Feb 13 11:26 aa.img

drwx------ 2 root root 16384 Feb 13 11:25 lost+found

这个时候drbd2开始提供服务,开始写数据

drbd1主恢复正常后:

[root@drbd1 ~]# cat /proc/drbd

version: 8.3.8 (api:88/proto:86-94)

srcversion: 299AFE04D7AFD98B3CA0AF9

0: cs:StandAlone ro:Primary/Unknown ds:UpToDate/DUnknown r----

ns:2144476 nr:0 dw:36484 dr:2115769 al:14 bm:129 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:8

drbd1状态是:StandAlone,此时,drbd1是不会和drbd2互相联系的

我们来查看下日志:

[root@drbd1 ~]# tailf /var/log/messages

Feb 13 16:14:27 drbd1 kernel: block drbd0: helper command: /sbin/drbdadm split-brain minor-0

Feb 13 16:14:27 drbd1 kernel: block drbd0: helper command: /sbin/drbdadm split-brain minor-0 exit code 0 (0x0)

Feb 13 16:14:27 drbd1 kernel: block drbd0: conn( WFReportParams -> Disconnecting )

Feb 13 16:14:27 drbd1 kernel: block drbd0: error receiving ReportState, l: 4!

Feb 13 16:14:27 drbd1 kernel: block drbd0: asender terminated

Feb 13 16:14:27 drbd1 kernel: block drbd0: Terminating drbd0_asender

Feb 13 16:14:27 drbd1 kernel: block drbd0: Connection closed

Feb 13 16:14:27 drbd1 kernel: block drbd0: conn( Disconnecting -> StandAlone )

Feb 13 16:14:27 drbd1 kernel: block drbd0: receiver terminated

Feb 13 16:14:27 drbd1 kernel: block drbd0: Terminating drbd0_receiver

脑裂出现!

解决方法:

1>,我们需要将现在的drbd1角色修改为secondary

[root@drbd1 ~]# drbdadm secondary r0

[root@drbd1 ~]# drbdadm – --discard-my-data connect r0 ##该命令告诉drbd,secondary上的数据不正确,以primary上的数据为准。

2>,我们还需要在drbd2上执行下面操作

[root@drbd2 /]# drbdadm connect r0

这样drbd1就能和drbd2开始连接上了,并且保证数据不会丢失:

[root@drbd1 ~]# cat /proc/drbd

version: 8.3.8 (api:88/proto:86-94)

srcversion: 299AFE04D7AFD98B3CA0AF9

0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r----

ns:0 nr:20592 dw:20592 dr:0 al:0 bm:4 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • kvm虚拟化开源高可用方案(二)moosefs

    1. mfs集群由元数据服务器、日志服务器区、chunkserver(存储服务器)区组成;

    力哥聊运维与云计算
  • KVM虚拟化开源高可用方案(五)总结

    我们的目的就是希望找到一种最佳性价比的方案能够解决我们的问题,并且能够很好的控制,

    力哥聊运维与云计算
  • MFS+Keepalived双机高可用热备方案操作记录

    基于MFS的单点及手动备份的缺陷,考虑将其与Keepalived相结合以提高可用性。在Centos下MooseFS(MFS)分布式存储共享环境部署记录这篇文档部...

    洗尽了浮华
  • 运维人员须熟悉的38个运维工具汇总

    操作系统:Centos,※,Ubuntu,Redhat※,,suse,Freebsd

    牛油果
  • 细说五层网站架构,了解我们的网站压力究竟在哪里?

    目前网站架构一般分成网页缓存层、负载均衡层、 WEB 层和数据库层,我其实一般还会多加一层,即文件服务器层,这样我们在后面的讨论过程中,我们可以依次用这五层对网...

    张戈
  • Centos下MooseFS(MFS)分布式存储共享环境部署记录

    分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连,分布式文...

    洗尽了浮华
  • moosefs的master单节点热备 原

    目前还没有弄大清楚mfsmetarestore这里命令参数到底是什么意思,总体的思路是: 1、安装一个mfsmaster 2、利用同样的配置来配置这台mfsma...

    domain0
  • MFS分布式文件系统

    mooseFS(moose 驼鹿)是一款网络分布式文件系统。它把数据分散在多台服务器上,但对于用户来讲,看到的只是一个源。MFS也像其他类unix文件系统一样,...

    胡齐
  • linux系统下对网站实施负载均衡+高可用集群需要考虑的几点

    随着linux系统的成熟和广泛普及,linux运维技术越来越受到企业的关注和追捧。在一些中小企业,尤其是牵涉到电子商务和电子广告类的网站,通常会要求作负载均衡和...

    洗尽了浮华
  • MFS搭建分布式文件系统

    L宝宝聊IT
  • Moosefs分布式文件系统集群讲解配置

    MFS的官方网站为http://www.moosefs.org ,详细信息您可以去官网进行更多的了解,在这里我只将简单的知识和大家分享。 MFS的网络组成有三部...

    BGBiao
  • MFS(MooseFS分布式文件系统)

    MooseFS[MFS]是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。 官网地址:http://w...

    张琳兮
  • MFS(MooseFS分布式文件系统)

    MooseFS[MFS]是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上,而呈现给用户的则是一个统一的资源。 官网地址:http://...

    张琳兮
  • MFS分布式文件系统

    L宝宝聊IT
  • MFS+DOCKER的文件挂载问题 原

    mfs在本地挂载如下 mfsmount /mnt -H ip -P port -S / 这样本地就有一个/mnt的mfs目录了 但是使用docker ru...

    domain0
  • mfs挂载失去连接问题 原

    我在系统上部署了一个web应用,这个应用使用了mfs挂载使用静态资源,但是每次就突然进程没了,挂载点重新挂载又可以了。经查发现居然是因为我分派的内存太小,fpm...

    domain0
  • MQX MFS文件系统初识

    本篇笔记主要介绍基于MQX嵌入式实时操作系统下的MFS文件系统,以搭载Kinetis微控制器kv4x系列MCU的控制板为平台,以SDK1.2.0为基础,1.2....

    用户1605515
  • Centos下部署DRBD+NFS+Keepalived高可用环境记录

    使用NFS服务器(比如图片业务),一台为主,一台为备。通常主到备的数据同步是通过rsync来做(可以结合inotify做实时同步)。由于NFS服务是存在单点的,...

    洗尽了浮华
  • keeplive+mysql+drbd高可用架构安装步骤

    DRBD(DistributedReplicatedBlockDevice)是一个基于块设备级别在远程服务器直接同步和镜像数据的开源软件,类似于RAID1数据镜...

    砸漏

作者介绍

精选专题

活动推荐

扫码关注云+社区

领取腾讯云代金券