Heartbeat v3 + ttser

一、软件概述

DRBD是一种块设备,可以被用于高可用(HA)之中.它类似于一个网络RAID-1功能.当你将数据写入本地 文件系统时,数据还将会被发送到网络中另一台主机上.以相同的形式记录在一个文件系统中. 本地(主节点)与远程主机(备节点)的数据可以保证实时同步.当本地系统出现故障时,远程主机上还会保留有一份相同的数据,可以继续使用.

Heartbeat：heartbeat是一种主要提供高可用的软件

Ttserver：ttserver是一种高并发的分布式持久存储系统，具体可以自己google一下 

二、ttserver + DRBD + Heartbeat v3 安装和配置

准备工作

机器包括space142和space143

space142上的两个IP分别为10.0.0.1和192.168.20.180；

space142上的两个IP分别为10.0.0.2和192.168.20.181；

漂移IP（VIP）为192.168.20.183；

10.0.0.x网段用于DRBD通信。

分别在两台机器上配置/etc/hosts文件

#vim /etc/hosts 

10.0.0.1  space142
192.168.20.180 space142
10.0.0.2  space143
192.168.20.181 space143

ttsserver安装和配置

具体可以参看我的其他文章

#cp /usr/local/tokyotyrant/bin/ttserver /etc/init.d/ #vim /etc/init.d/ttserver          #修改相关的变量  

prog="ttservctl"
 cmd="/usr/local/tokyotyrant/bin/ttserver"
 basedir="/data/ttserver1"
 port="1978"
 pidfile="$basedir/pid"
 logfile="$basedir/log"
 ulogdir="$basedir/ulog"
 ulimsiz="256m"
 sid=1
 #mhost="remotehost1"
 #mport="1978"
 #rtsfile="$basedir/rts"
 dbname="$basedir/casket.tch#bnum=1000000"
 retval=0

/etc/init.d/ttserver脚本被用做资源脚本被heartbeat调用

安装和配置DRBD

分别在space142、space143上安装DRBD

#wget http://oss.linbit.com/drbd/8.3/drbd-8.3.10.tar.gz #tar zxvf drbd-8.3.10.tar.gz #cd drbd-8.3.10 #./configure #make rpm #make km-rpm #cd /usr/src/redhat/RPMS/x86_64 #rpm -ivh drbd* #modprobe drbd #lsmod |grep drbd 

DRBD配置如下：

#vim /etc/drbd.conf 

global { usage-count yes; }
 common { syncer { rate 33M; } }
 resource r0 {
         protocol C;
         startup {
           }
         disk {
                on-io-error   detach;
                 #size 1G;
         }
         net {
         }
         on space142 {
                 device    /dev/drbd0;
                 disk      /dev/sdb1;
                 address   10.0.0.1:7898;
                 meta-disk internal;
         }
         on space143 {
                 device    /dev/drbd0;
                 disk      /dev/sdb1;
                 address   10.0.0.2:7898;
                 meta-disk internal;
         }
 }

初始化DRBD资源

#drbdadm create-md r0 #mkfs.ext3 /dev/drbd0 #/etc/init.d/drbd start && chkconfig drbd off #mkdir /data  

/data目录用来挂载drbd设备

安装和配置Heartbeat V3

1）安装heartbeat前准备，安装Cluster Glue

#groupadd haclient #useradd -g haclient hacluster #wget http://hg.linux-ha.org/glue/archive/glue-1.0.7.tar.bz2 #tar jxvf glue-1.0.7.tar.bz2 #cd Reusable-Cluster-Components-glue--glue-1.0.7/ #./autogen.sh  #./configure #make #make install 

2）安装resource-agents

#wget https://download.github.com/ClusterLabs-resource-agents-agents-1.0.4-0-gc06b6f3.tar.gz #tar -jvxf ClusterLabs-resource-agents-agents-1.0.4-0-gc06b6f3.tar.gz #cd Cluster-Resource-Agents-agents-1.0.4 #./autogen.sh #./configure #make #make install 

3）安装heartbeat

#wget http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/STABLE-3.0.4.tar.bz2 #tar jxvf STABLE-3.0.4.tar.bz2 #cd Heartbeat-3-0-STABLE-3.0.4/ #./bootstrap #./configure #make #make install 

4）配置ha.cf和authkeys

# vim /etc/ha.d/ha.cf 

debugfile /var/log/ha-debug

logfile /var/log/ha-log

logfacility     local0

keepalive 2

deadtime 30

initdead 30

udpport 694

mcast eth1 239.0.0.1 694 1 0 # 使用多播方式进行相互通信

auto_failback on

node space142

node space143

compression     bz2

compression_threshold 2

crm respawn

# 以下两行是pacemaker-mgmt提供的hb_gui 连接所必须的，2.1.4时没有 apiauth         mgmtd   uid=root # 注意，下面文件的路径不能有错（可查询pacemaker-mgmt包），并且一定是可执行文件 respawn         root    /usr/lib64/heartbeat/mgmtd –v

配置authkeys

# vi /etc/ha.d/authkeys  

auth 1

1 sha1 0366577bdaed36f08b5f1c29431812dc

5）资源配置

利用crm命令进入crm shell进行配置

primitive ClusterIP ocf:heartbeat:IPaddr2 \

        params ip="192.168.20.183" cidr_netmask="32" \

        op monitor interval="30s"

primitive drbd ocf:linbit:drbd \

        params drbd_resource="r0" drbdconf="/etc/drbd.conf" \

        op monitor interval="60s" \

        op start interval="0" timeout="240s" \

        op stop interval="0" timeout="100s"

primitive fs ocf:heartbeat:Filesystem \

        params device="/dev/drbd0" directory="/data" fstype="ext3" \

        op start interval="0" timeout="240s" \

        op stop interval="0" timeout="100s"

primitive ttserver lsb:ttservctl

group group_ttserver ClusterIP fs ttserver \

        meta target-role="Started" is-managed="true"

ms ms_drbd drbd \

        meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true"

colocation ttserver-on-drbd inf: group_ttserver ms_drbd:Master

order ttserver-after-drbd inf: ms_drbd:promote group_ttserver:start

property $id="cib-bootstrap-options" \

        stonith-enabled="false" \

        dc-version="1.0.10-da7075976b5ff0bee71074385f8fd02f296ec8a3" \

        cluster-infrastructure="Heartbeat"

三、常用的管理命令

1、drbd常用操作

#watch -n 1 cat /proc/drbd  查看drbd的状态

主从切换:先umount drbd设备。再用drbdadm primary all切换为主，drbdadm primary all切换为从

2、heartbeat常用操作

查看heartbeat资源状态，crm_mon可以查看资源使用情况： #crm_mon

============ Last updated: Thu Apr 7 14:15:44 2011 Stack: Heartbeat Current DC: space143 (fdec6bb1-a091-44a6-a542-af6afc3030a5) - partition with quorum Version: 1.0.10-da7075976b5ff0bee71074385f8fd02f296ec8a3 2 Nodes configured, unknown expected votes 2 Resources configured. ============ Online: [ space142 space143 ] Master/Slave Set: ms_drbd Masters: [ space143 ] Slaves: [ space142 ] Resource Group: group_ttserver ClusterIP (ocf::heartbeat:IPaddr2): Started space143 fs (ocf::heartbeat:Filesystem): Started space143 ttserver (lsb:ttservctl): Started space143

资源切换

如果资源挂载space142，通过以下命令可以把资源手动的切换到space143 crm node standby space142