专栏首页运维猫apache+Keepalived集群实战

apache+Keepalived集群实战

keepalived 是一个类似于layer3, 4 & 5 交换机制的软件,也就是我们平时说的第3 层、第4 层和第5层交换。Keepalived 的作用是检测web 服务器的状态,如果有一台web 服务器死机,或工作出现故障,Keepalived 将检测到,并将有故障的web 服务器从系统中剔除,当web 服务器工作正常后Keepalived 自动将web 服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web 服务器。

拓展:OSI七层

拓展:OSI七层相关协议

Keepalived工作原理

Layer3,4&5 工作在IP/TCP 协议栈的IP 层,TCP 层,及应用层,。

Layer3:Keepalived 使用Layer3 的方式工作式时,Keepalived 会定期向服务器群中的服务器发送一个ICMP 的数据包(既我们平时用的Ping 程序), 如果发现某台服务的IP 地址没有激活,Keepalived 便报告这台服务器失效,并将它从服务器群中剔除,这种情况的典型例子是某台服务器被非法关机。Layer3 的方式是以服务器的IP 地址是否有效作为服务器工作正常与否的标准。

Layer4:主要以TCP 端口的状态来决定服务器工作正常与否。如web server 的服务端口一般是80,如果Keepalived 检测到80 端口没有启动,则Keepalived 将把这台服务器从服务器群中删除。

Layer5:Layer5 就是工作在具体的应用层了,比Layer3,Layer4 要复杂一点,在网络上占用的带宽也要大一些。Keepalived 将根据用户的设定检查服务器程序的运行是否正常,如果与用户的设定不相符,则Keepalived 将把服务器从服务器群中剔除。

Keepalived的作用与构建

1.管理VIP VIP 会在LVS 之间漂移

2.监控LVS分发器

运行在主分发的Keepalived 会以组播的形式向网络中宣告自己,即主分发器还活着,备用节点能收到。当备用节点,在一个时间单位中收不到组播,备用节点会认为主LVS 挂了,开始接手主分发器工作,把VIP 配给自己。

3.管理RS

Keepalived 会每隔一个时间段去做一次类似于访问的操作如:

探针:elinks http://172.17.0.34 –dump

经典高可用web架构: LVS+keepalived+nginx+apache+php+eaccelerator(+nfs可选)

http://www.keepalived.org/

下载:http://www.keepalived.org/download.html

使用Keepalived构建LVS-DR模式的高可用集群

安装ipvsadm

yum install ipvsadm

安装完成不需要做任何配置,启动方式由keepalived控制

安装keepalived

第一种安装方法:

yum install –y keepalived

查看安装路径:

rpm -ql keepalived-1.3.5-1.el7.x86_64

拓展:VRRP/HSRP

虚拟路由冗余协议(Virtual Router Redundancy Protocol,简称VRRP)是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议。使用组播方式通信。

VRRP是一种路由容错协议,也可以叫做备份路由协议。一个局域网络内的所有主机都设置缺省路由(默认网关),当网内主机发出的目的地址不在本网段时,报文将被通过缺省路由发往外部路由器,从而实现了主机与外部网络的通信。当缺省路由器down掉(即端口关闭)之后,内部主机将无法与外部通信,如果路由器设置了VRRP时,那么这时,虚拟路由将启用备份路由器,从而实现全网通信。

工作流程如图:

HSRP:热备份路由器协议(HSRP)的设计目标是支持特定情况下IP 流量失败转移不会引起混乱、并允许主机使用单路由器,以及即使在实际第一跳路由器使用失败的情形下仍能维护路由器间的连通性。换句话说,当源主机不能动态知道第一跳路由器的IP 地址时,HSRP 协议能够保护第一跳路由器不出故障,是CISCO的私有协议!该协议中含有多台路由器,对应一个HSRP组。该组中只有一个路由器承担转发用户流量的职责,这就是活动路由器。当活动路由器失效后,备份路由器将承担该职责,成为新的活动路由器。这就是热备份的原理。

HSRP和VRRP的区别:HSRP是cisco的专有协议.在Cisco的HSRP之后,internet工程任务小组(internet engineering task force,IETF)也制定一种路由冗余协议:虚拟路由冗余协议(Virtual Router Redundancy Protocol,VRRP),目前包括Csico在内的主流厂商均在其产品中支持VRRP协议!VRRP和HSRP也有很多不同。VRRP和HSRP 的一个主要的区别在安全方面:它允许参与VRRP组的设备间建立认证机制。另一个主要区别:VRRP中只有三种状态----初始状态(Initialize)、主状态(Master)、备份状态(Backup),而HSRP 有六种状态。其余在报文类型、报文格式和通过TCP而非UDP发送的报文方面也有所不同

[root@localhost ~]# ip add

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 02:00:08:5b:00:76 brd ff:ff:ff:ff:ff:ff

inet 172.17.1.150/20 brd 172.17.15.255 scope global eth0

配置Keepalived+LVS-DR模式

在这种模式下,虚拟IP 在某时刻只能属于某一个节点,另一个节点作为备用节点存在。当主节点不可用时,备用节点接管虚拟IP,提供正常服务。

配置参数:节点172.17.1.150(主节点);节点172.17.1.151(备用节点) ; 虚拟IP 172.17.1.160对外提供服务的IP。要求默认情况下由节点172.17.1.150提供服务,当节点172.17.1.150 不可用时,由节点172.17.1.151 提供服务(即虚拟IP 漂移至节点172.17.1.151)。

主节点172.17.1.150配置

[root@localhost ~]# cp keepalived.conf keepalived.conf.bak

[root@localhost ~]# vim /etc/keepalived/keepalived.conf

global_defs {

notification_email {

root@localhost #默认三个地址,修改可用地址

}

notification_email_from root@localhost

smtp_server localhost

smtp_connect_timeout 30

router_id LVS_DEVEL #标识当前节点名字,两个节点的此项需要不相同。

}

vrrp_instance apache {

state MASTER #指定A 节点为主节点备用节点上设置为BACKUP 即可

interface eth0 #绑定虚拟IP 的网络接口

virtual_router_id 51 #VRRP 组名,两个节点的设置必须一样,以指明各个节点属于同一VRRP 组

priority 100 #主节点的优先级(1-254 之间),备用节点必须比主节点优先级低

advert_int 1 #组播信息发送间隔,两个节点设置必须一样

authentication { #设置验证信息,两个节点必须一致

auth_type PASS

auth_pass 1111

}

virtual_ipaddress {

172.17.1.160 #指定虚拟IP, 两个节点设置必须一样

}

}

#类似添加虚拟一个服务ipvsadm -A -t 192.168.1.70:80 -s rr

virtual_server 172.17.1.160 80 {

delay_loop 6 #Keepalived 多长时间监测一次RS

lb_algo rr #分发算法

lb_kind DR #DR 模式

nat_mask 255.255.255.0

# persistence_timeout 50

protocol TCP

real_server 172.17.1.152 80 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

real_server 172.17.1.153 80 {

weight 1

TCP_CHECK {

connect_timeout 3

nb_get_retry 3

delay_before_retry 3

connect_port 80

}

}

}

[root@localhost ~]# systemctl restart keepalived

[root@localhost ~]# systemctl enable keepalived

[root@localhost ~]# ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 172.17.1.160:80 rr

#注:没有看到realserver,是因为两台realserver 还没有开启httpd 服务。

备用节点172.17.1.151配置

安装ipvsadm

yum install –y ipvsadm

安装keepalived

第一种安装方法:

yum install –y keepalived

和主节点172.17.1.150配置差不多相同,直接从172.17.1.150上scp拷贝配置文件

[root@localhost ~]# scp /etc/keepalived/keepalived.conf root@172.17.1.151:/etc/keepalived/

复制过来之后,还要做一定的修改:

[root@localhost ~]# vim /etc/keepalived/keepalived.conf

注:红色为改动项值

vrrp_instance apache {

state BACKUP #当前LVS 状态为备用分发器

interface ens32

virtual_router_id 51

priority 90 #LVS 优先级,备的要比主的小

……

启动:

[root@localhost ~]# systemctl restart keepalived

[root@localhost ~]# systemctl enable keepalived

测试LVS IP飘移

[root@localhost ~]# systemctl stop keepalived

去从的机器查看ip是否漂移过来

[root@localhost ~]# ip add

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 02:00:25:30:04:01 brd ff:ff:ff:ff:ff:ff

inet 172.17.1.151/20 brd 172.17.15.255 scope global eth0

inet 172.17.1.160/32 scope global eth0

[root@localhost ~]# ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 172.17.1.160:80 rr

-> 172.17.1.152:80 Route 1 0 0

-> 172.17.1.153:80 Route 1 0 0

#看到172.17.1.160飘移过来了,就证明一切正常了

配置RS1

[root@localhost ~]# vim /etc/init.d/lvsrsdr #写一个配置RS的脚本

#!/bin/bash

#description:start relserver

VIP=172.17.1.160

source /etc/init.d/functions #加载环境变量(可以加载所有的环境变量)

case $1 in

start)

echo ' start LVS of REALServer'

/sbin/ifconfig lo:1 $VIP broadcast $VIP netmask 255.255.255.255 up

/sbin/route add -host $VIP dev lo:1

echo '1' > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo '2' > /proc/sys/net/ipv4/conf/lo/arp_announce

echo '1' > /proc/sys/net/ipv4/conf/all/arp_ignore

echo '2' > /proc/sys/net/ipv4/conf/all/arp_announce

;;

stop)

/sbin/ifconfig lo:1 down

echo 'close LVS Directorserver'

echo '0' > /proc/sys/net/ipv4/conf/lo/arp_ignore

echo '0' > /proc/sys/net/ipv4/conf/lo/arp_announce

echo '0' > /proc/sys/net/ipv4/conf/all/arp_ignore

echo '0' > /proc/sys/net/ipv4/conf/all/arp_announce

;;

*)

echo "Usage:$0 (start|stop)"

exit 1

esac

[root@localhost ~]#chmod +x /etc/init.d/lvsrsdr

[root@localhost ~]# /etc/init.d/lvsrsdr start

[root@localhost ~]# ifconfig -a

eth0 Link encap:Ethernet HWaddr 02:00:08:5B:00:76

inet addr:172.17.1.152 Bcast:172.17.15.255 Mask:255.255.240.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:16881281353 errors:0 dropped:0 overruns:0 frame:0

TX packets:14227651287 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:3628449350074 (3.3 TiB) TX bytes:2081268815287 (1.8 TiB)

lo Link encap:Local Loopback

inet addr:127.0.0.1 Mask:255.0.0.0

UP LOOPBACK RUNNING MTU:65536 Metric:1

RX packets:4307 errors:0 dropped:0 overruns:0 frame:0

TX packets:4307 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:576540 (563.0 KiB) TX bytes:576540 (563.0 KiB)

lo:0 Link encap:Local Loopback

inet addr:172.17.0.9 Mask:255.255.255.255

UP LOOPBACK RUNNING MTU:65536 Metric:1

[root@localhost ~]# yum install -y httpd

[root@localhost ~]# echo yunweimao > /var/www/html/index.html

[root@localhost ~]# systemctl restart httpd

配置RS2

从172.17.1.152上拷贝脚本

[root@localhost ~]# scp /etc/init.d/lvsrsdr 172.17.1.153:/etc/init.d/

然后执行

[root@localhost ~]# chmod +x /etc/init.d/lvsrsdr

[root@localhost ~]# /etc/init.d/lvsrsdr start

[root@localhost ~]# ifconfig -a

eth0 Link encap:Ethernet HWaddr 02:00:08:5B:00:76

inet addr:172.17.1.153 Bcast:172.17.15.255 Mask:255.255.240.0

UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1

RX packets:16881281353 errors:0 dropped:0 overruns:0 frame:0

TX packets:14227651287 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:1000

RX bytes:3628449350074 (3.3 TiB) TX bytes:2081268815287 (1.8 TiB)

lo Link encap:Local Loopback

inet addr:127.0.0.1 Mask:255.0.0.0

UP LOOPBACK RUNNING MTU:65536 Metric:1

RX packets:4307 errors:0 dropped:0 overruns:0 frame:0

TX packets:4307 errors:0 dropped:0 overruns:0 carrier:0

collisions:0 txqueuelen:0

RX bytes:576540 (563.0 KiB) TX bytes:576540 (563.0 KiB)

lo:0 Link encap:Local Loopback

inet addr:172.17.0.9 Mask:255.255.255.255

UP LOOPBACK RUNNING MTU:65536 Metric:1

[root@localhost ~]# yum install -y httpd

[root@localhost ~]# echo maoxiaopu > /var/www/html/index.html

[root@localhost ~]# systemctl restart httpd

测试

http://172.17.1.160

测试主备切换,首选在主上172.17.1.150上查看状态

[root@localhost ~]# ipvsadm -Ln

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 172.17.1.160:80 rr

-> 172.17.1.152:80 Route 1 0 0

-> 172.17.1.153:80 Route 1 0 0

[root@localhost ~]# ip add

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 02:00:1e:72:04:04 brd ff:ff:ff:ff:ff:ff

inet 172.17.1.150/20 brd 172.17.15.255 scope global eth0

inet 172.17.1.160/32 scope global eth0

在备上查看172.17.1.151的状态

[root@localhost ~]# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

-> RemoteAddress:Port Forward Weight ActiveConn InActConn

TCP 172.17.1.160:80 rr

-> 172.17.1.152:80 Route 1 0 0

-> 172.17.1.153:80 Route 1 0 0

[root@localhost ~]# ip add

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN

link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

inet 127.0.0.1/8 scope host lo

2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

link/ether 02:00:25:30:04:01 brd ff:ff:ff:ff:ff:ff

inet 172.17.1.151/20 brd 172.17.15.255 scope global eth0

本文分享自微信公众号 - 运维猫(centos15)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Docker入门——网络相关

    某次在试图从容器内访问到本地的数据库时,发现在本机上并没有 docker0 这个网桥。学习了一波 Docker 网络相关的知识后作出了以下总结。

    cocoon_yh
  • Centos7开启内核TCP BBR拥塞控制模块

    只要 Linux 发行版的 Kernel 即内核版本大于等于 4.9 即可开启,开启方法是通用的,只需修改内核参数即可。

    缘、妙不可言
  • 动态路由协议之OSPF协议

    之前我们介绍了距离矢量路由协议,路由器之间互相传递路由表来传递路由信息,距离矢量协议的路由器只知道某个网段可以通过那个下一跳到达和到达这个网络有多远等这样的信息...

    小手冰凉
  • 复习一次一致性哈希算法

    当时的情形是这样的,先介绍一下自己的项目。然后介绍完项目背景以后,因为有一个登陆模块。于是乎有了如下问题

    JAVA葵花宝典
  • 浅谈TCP协议(建立与断开连接)

    TCP是面向连接的,可靠的进程到进程通信的协议。 TCP提供全双工服务,即数据可在同一时间双向传输,每一个TCP都有发送缓存,用来临时存储数据。 TCP将若干个...

    小手冰凉
  • centos7.0 安装DHCP服务

    进入centos7系统后首先修改网卡IP为静态IP vim /etc/sysconfig/network-scripts/ifcfg-ens33

    小手冰凉
  • 浅谈网络地址转换(NAT)

    随着网络的发展,公网IP地址的需求与日俱增。为了缓解公网IP地址的不足,并且保护公司内部服务器的私网地址,可以使用NAT(网络地址转换)技术将私网地址转化成公网...

    小手冰凉
  • 动态路由协议之RIP协议

    我们都知道,路由器可配置静态路由和动态路由。 静态路由协议在小型网络中配置的话是十分方便的,但是对于大中型网络来说却是困难的,配置麻烦且不方便管理。 动态路由协...

    小手冰凉
  • 浅谈ACL(访问控制列表)

    ACL(访问控制列表)是应用在路由器接口的指令列表。这些指令列表用来告诉路由器,那些数据包可以接收,那些数据包需要拒绝。 基本原理为:ACL使用包过滤技术,在路...

    小手冰凉
  • VXLAN篇之进阶

    首先需要指出的是,IRB有两种:非对称IRB(Asymmetric Integrated Routing and Bridging),对称IRB(Symmetr...

    SDNLAB

扫码关注云+社区

领取腾讯云代金券