使用Haproxy和Keepalived实现高可用的负载均衡
使用Haproxy和Keepalived实现高可用的负载均衡
尽管HAProxy非常稳定，但仍然无法规避操作系统故障、主机硬件故障、网络故障甚至断电带来的风险。所以必须对HAProxy实施高可用方案。
Keekpalived工作原理：通过vrrp协议（虚拟路由冗余协议）实现。
下文将介绍利用Keepalived实现HAProxy的热备方案。即三台主机上的三个HAProxy实例同时在线，其中权重较高的实例为MASTER，MASTER出现问题时，另外两台备份的会选出一台自动接管所有流量。
1、安装说明
安装环境：6台Linux机，系统为CentOS 7.7，不完全适用于云服务器（会有些问题，比如不支持虚拟ip对外访问需要提交申请）。
Haproxy版本：1.8.25
Keepalived版本：1.4.5
ip | 作用 |
|---|---|
172.16.122.100 | Keepalived虚拟出来的ip |
172.16.122.101 | 部署Haproxy实例1，代理真实服务器1、2、3，主机 |
172.16.122.102 | 部署Haproxy实例2，代理真实服务器1、2、3，备用机1 |
172.16.122.103 | 部署Haproxy实例3，代理真实服务器1、2、3，备用机2 |
172.16.122.104 | 真实服务器1，已经部署应用，并对外暴露http端口10900 |
172.16.122.105 | 真实服务器2，已经部署应用，并对外暴露http端口10900 |
172.16.122.106 | 真实服务器3，已经部署应用，并对外暴露http端口10900 |
Haproxy的安装与配置可以参考下面的链接。
本文主要介绍Keepalived的安装和使用，对于Keepalived的安装是采用离线安装包的方式，其手动编译过程一般不会太顺利，依赖也比较多，对环境要求比较高。而且Keepalived不同版本之间的依赖还有差异。本人亲自实践，如果是CentOS 7.x系统，Keepalived版本是1.x系列，那基本问题不大，安装方式大同小异，可以参考本文。
2、安装Keepalived
2.1、下载
下载地址：https://www.keepalived.org/download.html
选择一个版本进行下载，这里我用的是keepalived-1.4.5版本。
2.2、安装
将下载的安装包上传至服务器，直接使用root用户进行安装。
tar -xvf keepalived-1.4.5.tar.gz
cd keepalived-1.4.5
./configure --prefix=/usr/local/keepalived可能会出现以下几种情况的报错：
configure: error: !!! OpenSSL is not properly installed on your system. !!! !!! Can not include OpenSSL headers files. !!!
执行yum -y install openssl-devel解决。
*** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.
执行yum -y install libnl libnl-devel解决。
configure: error: libnfnetlink headers missing
执行yum install -y libnfnetlink-devel解决。
再次执行./configure --prefix=/usr/local/keepalived，直到check全部通过。
最后进行编译
make && make install编译完成后，在路径/usr/local/下可以看到已经安装好keepalived了。
2.3、注册为系统服务
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
# 以下拷贝的原路径要替换成实际安装包解压后的路径
cp /root/keepalived-1.4.5/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
cp /root/keepalived-1.4.5/keepalived/etc/init.d/keepalived /etc/init.d/
# 赋予可执行权限
chmod +x /etc/init.d/keepalived
# 重启系统服务
systemctl daemon-reload注册为系统服务后可以很方便地启停Keepalived。
比如：
# 启动|停止|重启|状态查看
service keepalived start|stop|restart|status或者
# 启动|停止|重启|状态查看
systemctl start|stop|restart|status keepalived开机自动运行
systemctl enable keepalived关闭开机自动运行
systemctl disable keepalived至此，主机安装已经完成，另外两台备用机也是一样的步骤进行安装；接下来就是配置了。
3、配置Keepalived
这里只贴出keepaliaved抢占式配置，非抢占式没有主备之分，全部都为BACKUP，并且配置文件中添加nopreempt，用来标识为非抢占式。
3.1、创建配置文件
Keepalived默认读取配置的路径为/etc/keepalived/keepalived.conf
mkdir /etc/keepalived/
vi /etc/keepalived/keepalived.conf3.2、添加配置内容
主机配置
global_defs {
router_id haproxy1 # 虚拟路由名称
}
# HAProxy健康检查配置
vrrp_script chk_haproxy {
script "killall -0 haproxy" # 使用killall -0检查haproxy实例是否存在，性能高于ps命令
interval 2 # 脚本运行周期，秒
}
# 虚拟路由配置
vrrp_instance VI_1 {
state MASTER # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP
interface ens33 # 本机网卡名称，使用ifconfig命令查看
virtual_router_id 51 # 虚拟路由编号，主备机保持一致
priority 101 # 本机初始权重，备机请填写小于主机的值（例如99）
advert_int 1 # 争抢虚地址的周期，秒
authentication {
auth_type PASS
auth_pass 4gjfethTonUY7kXU # 认证类型和密码主备一样，要不然无法互相认证
}
virtual_ipaddress {
172.16.122.100 # 虚地址IP，主备机保持一致
}
track_script {
chk_haproxy # 对应的健康检查配置
}
}这里检测脚本使用了killall命令，如果系统没有这个命令可以通过yum install psmisc安装获得。
Keepalived会定时执行检测脚本，如果检测都通过，则会选一台权重最大的作为VIP(虚拟ip)的获得者，通过这个虚拟ip就可以访问到这台机器。
如果持有VIP机器的haproxy进程挂了，检测脚本不通过，VIP则会漂移到另一台机器，也是根据权重进行重新分配。
如果持有VIP的机器本身挂了，另外2台备用机发现和主机这个节点的通讯异常了，则也会根据权重使其中一台获取到VIP进行流量接管；但是如果各个主备节点之间通信线路出了问题，无法接收到彼此的组播通知，但是每个节点实际都处于正常工作状态，这时多个节点均为master强行绑定虚拟ip，导致不可预料的后果，这就是脑裂。一般发生这种情况就需要人工干预了，排查防火墙、通信线路等问题。
备用机1配置
global_defs {
router_id haproxy2 # 虚拟路由名称
}
# HAProxy健康检查配置
vrrp_script chk_haproxy {
script "killall -0 haproxy" # 使用killall -0检查haproxy实例是否存在，性能高于ps命令
interval 2 # 脚本运行周期，秒
}
# 虚拟路由配置
vrrp_instance VI_1 {
state BACKUP # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP
interface ens33 # 本机网卡名称，使用ifconfig命令查看
virtual_router_id 51 # 虚拟路由编号，主备机保持一致
priority 100 # 本机初始权重，备机请填写小于主机的值（例如99）
advert_int 1 # 争抢虚地址的周期，秒
authentication {
auth_type PASS
auth_pass 4gjfethTonUY7kXU # 认证类型和密码主备一样，要不然无法互相认证
}
virtual_ipaddress {
172.16.122.100 # 虚地址IP，主备机保持一致
}
track_script {
chk_haproxy # 对应的健康检查配置
}
}备用机2配置
global_defs {
router_id haproxy3 # 虚拟路由名称
}
# HAProxy健康检查配置
vrrp_script chk_haproxy {
script "killall -0 haproxy" # 使用killall -0检查haproxy实例是否存在，性能高于ps命令
interval 2 # 脚本运行周期，秒
}
# 虚拟路由配置
vrrp_instance VI_1 {
state BACKUP # 本机实例状态，MASTER/BACKUP，备机配置文件中请写BACKUP
interface ens33 # 本机网卡名称，使用ifconfig命令查看
virtual_router_id 51 # 虚拟路由编号，主备机保持一致
priority 99 # 本机初始权重，备机请填写小于主机的值（例如99）
advert_int 1 # 争抢虚地址的周期，秒
authentication {
auth_type PASS
auth_pass 4gjfethTonUY7kXU # 认证类型和密码主备一样，要不然无法互相认证
}
virtual_ipaddress {
172.16.122.100 # 虚地址IP，主备机保持一致
}
track_script {
chk_haproxy # 对应的健康检查配置
}
}4、启动Keepalived
每台机器执行以下命令启动Keepalived
service keepalived start通过命令查看主机是否持有虚拟ip
ip addr sh ens33 # ens33是具体网卡名称，可以通过ifconfig查看
客户端通过虚拟ip172.16.122.100访问主机上的haproxy端口，能访问成功说明虚拟ip已经生效，此时访问172.16.122.100和访问172.16.122.101效果是一样的。
杀死主机的haproxy进程，如果VIP发生漂移，查看备用机持有VIP就说明主备配置已经生效了。客户端还是能通过172.16.122.100这个虚拟ip进行服务访问，这就是高可用。
Keepalived具体的日志可以通过/var/log/messages查看。
5、脚本检测扩展
脚本检测并非一定要使用killall这个命令，可以自定义一个shell脚本去检测，这样可以更加灵活地处理。
比如在检测到haproxy这个进程不存在时，执行启动haproxy的命令，如果启动失败再切换VIP，而不是检测失败就直接切换VIP。
创建脚本vi /etc/keepalived/chk_haproxy.sh
#!/bin/bash
A=`ps -C haproxy --no-header |wc -l`
if [ $A -eq 0 ];then
su - haproxy -c "/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.cfg"
sleep 10
if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
/etc/init.d/keepalived stop
fi
fi更改健康检查配置
# HAProxy健康检查配置
vrrp_script chk_haproxy {
script "/etc/keepalived/chk_haproxy.sh" # 执行自定义脚本
interval 2 # 脚本运行周期，秒
}