构建LVS负载均衡集群
构建LVS负载均衡集群
LVS即Linux虚拟服务器,目前 LVS 已经被集成到 Linux 内核模块中,该项目在 Linux 内核实现了基于 IP 的数据请求负载均衡调度方案,LVS集群采用IP负载均衡技术和基于内容请求分发技术.调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器.整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序.为此,在设计时需要考虑系统的透明性、可伸缩性、高可用性和易管理性.
LVS(Linux Virtual Server) 的作用
LVS主要用于服务器集群的负载均衡,它工作在网络层,可以实现高性能,高可用的服务器集群技术.它廉价,可把许多低性能的服务器组合在一起形成一个超级服务器.它易用,配置非常简单,且有多种负载均衡的方法.它稳定可靠,即使在集群的服务器中某台服务器无法正常工作,也不影响整体效果.另外可扩展性也非常好.
LVS自从1998年开始,发展到现在已经是一个比较成熟的技术项目了.可以利用LVS技术实现高可伸缩的、高可用的网络服务,例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等,有许多比较著名网站和组织都在使用LVS架设的集群系统.
LVS的体系结构,使用LVS架设的服务器集群系统有三个部分组成： ● 最前端的负载均衡层,用Load Balancer表示 ● 中间的服务器集群层,用Server Array表示 ● 最底端的数据共享存储层,用Shared Storage表示
LVS(Linux Virtual Server) 负载均衡机制
LVS是四层负载均衡,也就是说建立在OSI模型的第四层传输层之上,传输层上有我们熟悉的TCP/UDP,LVS支持TCP/UDP的负载均衡.因为LVS是四层负载均衡,因此它相对于其它高层负载均衡的解决办法,比如DNS域名轮流解析、应用层负载的调度、客户端的调度等,它的效率是非常高的.
Load Balancing负载均衡,可以减轻单台服务器压力,不同节点之间相互独立,不共享任何资源.通过一定算法将客户端的访问请求平分到群集的各个节点上,充分利用每个节点的资源.负载均衡扩展了网络设备和服务器带宽,增加吞吐量,加强网络数据处理能力.
负载均衡集群分类
软件实现： LVS RAC MySQLProxy Nginx HaProxy 硬件实现： F5 citrix array 深信服 梭子鱼
负载均衡集群的区别
1.触发条件不同
四层负载均衡：工作在传输层,转发数据依靠的是三层的IP地址 和 四层的端口(PORT). 七层负载均衡：工作在应用层,转发数据依靠URL或主机名.
2.实现原理不同
四层负载均衡：TCP连接建立一次,客户端和RS主机之间. 七层负载均衡：TCP连接建立两次,第一次是客户端和负载调度器,第二次是负载调度器和RS主机.
3.应用场景不同
四层负载均衡：TCP应用为主或者ERP软件 七层负载均衡：以HTTP协议为主,例如apache服务器
4.安全性不同
四层负载均衡：转发攻击 七层负载均衡：拦截攻击
IPVS：钩子函数,内核机制,在请求没有到达目的地址之前,捕获并取得优先控制权的函数. IPVSADM：工作在用户空间,负责为ipvs内核框架编写规则,定义谁是集群服务,谁是后端真实的服务器.
负载调度算法分类
轮询方式 | 解释 |
|---|---|
rr(轮循) | 从1开始到n结束 |
wrr(加权轮循) | 按权重比例进行调度,权重越大,负责的请求越多. |
sh(源地址hash) | 实现会话绑定,保留之前建立的会话信息.将来自于同一个ip地址的请求发送给一个真实服务器. |
dh(目标地址hash) | 将同一个目标地址的请求,发送给同一个服务器节点.提高缓存命中率. |
LC(最少连接) | 将新的连接请求分配给当前连接数最少的服务器.公式：活动连接*256+非活动连接. |
WLC(加权最少连接) | 最少连接的特殊模式.公式：(活动连接*256+非活动连接)/权重 |
SED(最短期望延迟) | 加权最少连接的特殊模式.公式：(活动连接 +1)*256/权重 |
NQ(永不排队) | sed的特殊模式,当某台真实服务器连接为0时,直接分配不计算. |
LBLC(基于局部性的最少连接) | dh的特殊模式既要提高缓存命中率又要考虑连接数量.先根据请求的目标IP地址寻找最近的该目标IP地址所有使用的服务器,如果这台服务器依然可用,并且有能力处理该请求,调度器会尽量选择相同的服务器,否则会继续选择其它可行的服务器. |
LBLCR(带复制的基于局部性的最少连接) | LBLCR=LBLC+缓存共享机制 |
动态算法 | 既要考虑算法本身,也要考虑服务器状态(原理：通过hash表记录连接状态active/inactive) |
静态算法 | 只考虑算法本身,不考虑服务器状态. |
下面我们将依次配置三种模式的集群方案,并说明原理.
LVS-NAT 模式
NAT 模式简介
NAT (Network Address Translation）即网络地址转换,其作用是通过数据报头的修改,使位于企业内部的私有IP可以访问外网,以及外部用户可以访问位于公司内部的私有IP主机.LVS-NAT工作模式拓扑结构如下图,所示LVS负载调度器使用两块网卡配置不同的IP地址,eth0,设置为私钥IP与内部网络通过交换设备相互连接, eth1设置为外网IP与外部网络联通.
原理图解:
a).客户端将请求交给负载调度器,客户端发出数据包,此时这个数据包的源ip为CIP,目标ip为VIP (集群ip). b).数据包到达负载调度器后,修改数据包的目标ip地址为真实服务器的ip,此时数据包的源ip为CIP,目标ip为RIP. c).将数据包发送给RS,之后RS响应将数据包发回给负载调度器,此时数据包的源ip为RIP,目标ip为CIP. d).负载调度器再转发时,会将源ip地址改为自己的VIP地址,然后再发给客户端,此时数据包的源ip为VIP,目标ip为CIP.
LVS-NAT 模式特点:
1.负载调度器和真实服务器,必须位于同一网络. 2.真实服务器的网关必须指向DIP. 3.负载调度器必须位于客户端和真实服务器之间. 4.RIP通常都是私有地址,仅用于各个集群节点通信. 5.支持端口映射,可映射为任意地址. 6.真实服务器可以使用任意操作系统,负载调度器必须是LINUX系统. 7.所有数据报文都要经过负载调度器、压力过大、最多10台RS.
实验环境IP分配:
[实验环境]
[类型] [网卡] [IP地址] [接入模式]
LVS-NAT ens32 192.168.1.12 桥接
ens32 192.168.20.14 NAT
Read-Ser1 ens32 192.168.20.15 NAT
Read-Ser2 ens32 192.168.20.16 NAT配置LVS调度器
1.通过YUM仓库快速安装Ipvsadm内核管理工具.
[root@localhost ~]# yum install -y ipvsadm
Package ipvsadm-1.27-7.el7.x86_64 already installed and latest version
Nothing to do2.开启IP转发,让其具有转发数据包的能力.
[root@localhost ~]# echo "1" > /proc/sys/net/ipv4/ip_forward
[root@localhost ~]# echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
[root@localhost ~]# sysctl –p
net.ipv4.ip_forward=13.配置LVS-NAT调度器,访问本机的80端口自动负载均衡到15-16这两台机器上.
[root@localhost ~]# ipvsadm -A -t 192.168.1.12:80 -s rr #指定网卡1地址
#-------------------------------------------------------------------------------
#[参数说明]
-A 添加规则
-t TCP 指定分发器VIP
-s 指定调度算法
rr 代表轮询round-robin
#-------------------------------------------------------------------------------
[root@localhost ~]# ipvsadm -a -t 192.168.1.12:80 -r 192.168.20.15 -m
[root@localhost ~]# ipvsadm -a -t 192.168.1.12:80 -r 192.168.20.16 -m
#-------------------------------------------------------------------------------
#[参数说明]
-a 添加real-server地址
-r 指定real-server地址
-m 表示masquerade NAT方式的LVS
#-------------------------------------------------------------------------------4.查看并保存结果,下面就是我们的配置结果啦.
[root@localhost ~]# ipvsadm -L -n #查看规则
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.12:80 rr
-> 192.168.20.15:80 Masq 1 0 0
-> 192.168.20.16:80 Masq 1 0 0
[root@localhost ~]# /sbin/ipvsadm-save #保存规则4.配置防火墙SNAT,指定NAT表的POSTROUTING.
iptables -t nat -A POSTROUTING \ #指定NAT表的POSTROUTING
-s 192.168.1.0/24 \ #指定内网的网段
-o eno16777728 \ #指定外网口网卡名称
-j SNAT \ #指定为SNAT
--to-source 59.110.167.239 #指定外网卡的地址
[root@localhost ~]# iptables -t nat -L #查看添加的规则配置RS节点
提示:RelServer客户端每个节点都应该配置,每个节点都要执行以下操作
1.安装测试Apache,后端的两台主机都要配置Apache.
[root@localhost ~]# yum install -y httpd
[root@localhost ~]# echo "web 1" > /var/www/html/index.html
[root@localhost ~]# systemctl restart httpd2.RelServer节点指定网关,指向主调度器的eth1网口.
[root@localhost ~]# route add default gw 192.168.20.14LVS-DR 模式
LVS-DR模式简介
DR模式也叫做直接路由模式,其体系如下图所示,该模式中LVS依然承载数据的入站点请求以及算法的合理选择,不同之处在于dR模式只负责接受请求不负责发送,真正发送请求的是后端的主机节点,这样就在一定程度上缓解了服务器的压力,但是本模式要求调度器与后端的主机必须在一个局域网中.
原理图解:
a)客户端发出数据包,源ip是CIP,目标ip是VIP. b)依靠路由把数据发送给负载调度器,负载调度器将数据包的源MAC地址修改为DIP的MAC地址,将目标MAC地址修改为RIP的MAC地址,此时源ip和目标ip均未修改. c)由于DS和RS在同一网络中,所以通过二层来传输,通过路由再将数据包发到RS. d)RS接收数据包,之后通过lo接口传送给eth0向外发出,此时的源ip是VIP,目标ip为CIP. e)最后通过路由的方式发给客户端.
DR 模式特点:
1.负载路由器和真实服务器,必须位于同一网络. 2.真实服务器的网关必须指向路由器. 3.负载调度只处理入站请求. 4.RIP可以是私有地址,也可以是公网地址. 5.真实服务器可以使用任意操作系统,负载调度器必须是LINUX系统. 6.负载调度器压力较小,支持100台左右的RS.
实验环境IP分配:
[实验环境]
[类型] [网卡] [IP地址] [VIP/IO] [接入模式]
LVS-DR ens32 192.168.1.5 192.168.1.10(VIP) 桥接
Read-Ser1 ens32 192.168.1.13 192.168.1.10(IO) 桥接
Read-Ser2 ens32 192.168.1.14 192.168.1.10(IO) 桥接
#提示: 如果是在真实环境中 RealServer 应把网关指向路由器eth1口配置LVS调度器
1.通过YUM仓库快速安装Ipvsadm内核管理工具.
[root@localhost ~]# yum install -y ipvsadm
Package ipvsadm-1.27-7.el7.x86_64 already installed and latest version
Nothing to do2.修改内核参数,防止相同网络地址广播冲突.
[root@localhost ~]# echo "net.ipv4.conf.all.send_redirects = 0" >> /etc/sysctl.conf
[root@localhost ~]# echo "net.ipv4.conf.ens32.send_redirects = 0" >> /etc/sysctl.conf
[root@localhost ~]# echo "net.ipv4.conf.default.send_redirects = 0" >> /etc/sysctl.conf
[root@localhost ~]# sysctl -p #刷新内核参数
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.ens32.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
[root@localhost ~]# modprobe ip_vs && echo "ok" || echo "error" #查看内核是否加载
ok3.配置一个网卡子接口,此处我们在ens32接口上配置一个子接口ens32:0,这个子接口也就是VIP的地址,并添加一条路由记录.
[root@localhost ~]# ifconfig ens32
ens32: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.1.5 netmask 255.255.255.0 broadcast 192.168.1.255
inet6 fe80::5fbb:43ab:da3:f589 prefixlen 64 scopeid 0x20<link>
ether 00:0c:29:1e:14:e2 txqueuelen 1000 (Ethernet)
RX packets 4597 bytes 5186429 (4.9 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1711 bytes 177437 (173.2 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
[root@localhost ~]# ifconfig ens32:0 192.168.1.10 netmask 255.255.255.0 #在ens32添加子接口,VIP的地址
[root@localhost ~]# ifconfig ens32:0
ens32:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.1.10 netmask 255.255.255.0 broadcast 192.168.1.255
ether 00:0c:29:1e:14:e2 txqueuelen 1000 (Ethernet)
[root@localhost ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.1.1 0.0.0.0 UG 100 0 0 ens32
192.168.1.0 0.0.0.0 255.255.255.0 U 100 0 0 ens32
[root@localhost ~]# route add -host 192.168.1.10 dev ens32 #在ens32上添加一条路由记录
[root@localhost ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.1.1 0.0.0.0 UG 100 0 0 ens32
192.168.1.0 0.0.0.0 255.255.255.0 U 100 0 0 ens32
192.168.1.10 0.0.0.0 255.255.255.255 UH 0 0 0 ens324.接下来配置我们的LVS负载调度器,指定VIP地址和使用轮询算法,并保存永久生效.
[root@localhost ~]# ipvsadm -A -t 192.168.1.10:80 -s rr #添加虚拟服务指定VIP地址
#---------------------------------------------------------------------------------
#[参数说明]
-A 添加规则
-t TCP 指定分发器VIP
-s 指定调度算法
rr 代表轮询round-robin
#---------------------------------------------------------------------------------
[root@localhost ~]# ipvsadm -a -t 192.168.1.10:80 -r 192.168.1.13:80 -g #针对虚拟服务添加RS节点
[root@localhost ~]# ipvsadm -a -t 192.168.1.10:80 -r 192.168.1.14:80 -g #针对虚拟服务添加RS节点
#---------------------------------------------------------------------------------
#[参数说明]
-a 添加real-server地址
-r 指定real-server地址
-m 以NAT模式分配
-g 以DR模式分配
-w 指定权值
#---------------------------------------------------------------------------------5.检查LVS的轮询配置规则,并保存配置文件,此处记得放行放火墙规则.
[root@localhost ~]# ipvsadm -L -n --stats #查看VIP和RS是否已经配置成功
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPkts OutPkts InBytes OutBytes
-> RemoteAddress:Port
TCP 192.168.1.10:80 0 0 0 0 0
-> 192.168.1.13:80 0 0 0 0 0
-> 192.168.1.14:80 0 0 0 0 0
[root@localhost ~]# /sbin/ipvsadm-save #保存规则配置RS节点
提示:RelServer客户端每个节点都应该配置,每个节点都要执行以下操作 如果是图形界面,需要关闭图形管理工具 systemctl stop NetworkManager
1.首先关闭ARP宣告,和ARP转发,这里有两种方法,临时关闭与永久关闭.
#--------------------------------------------------------------------------------
#[临时关闭]
[root@localhost ~]# echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@localhost ~]# echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@localhost ~]# echo "1" > /proc/sys/net/ipv4/conf/all/arp_announce
[root@localhost ~]# echo "2" > /proc/sys/net/ipv4/conf/all/arp_ignore
#--------------------------------------------------------------------------------
#--------------------------------------------------------------------------------
#[永久关闭]
[root@localhost ~]# vim /etc/sysctl.conf
net.ipv4.conf.ens32.arp_ignore=1
net.ipv4.conf.ens32.arp_announce=2
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
[root@localhost ~]# sysctl -p
#--------------------------------------------------------------------------------2.添加本地回环口,并设置24位的掩码,添加本地回环路由记录,这里设置成VIP的地址.
[root@localhost ~]# ifconfig lo:0 192.168.1.10 netmask 255.255.255.255 #添加本地回环口,设置24位掩码
[root@localhost ~]# route add -host 192.168.1.10 dev lo #添加路由记录LVS-TUN 模式
LVS-IP-TUN 模式简介
IP-TUN也叫做IP隧道模式,它的配置不受空间的限制,TUN模式的思路就是将请求与相应数据分离,让调度器仅仅处理数据请求,而让真是服务器返回数据包,但是IP隧道模式由于物理主机不在一起,效率比较低下.
原理图解:
a)客户端发送数据包到负载调度器,此时数据包的源ip为CIP,目标ip为VIP. b)负载调度器会在数据包的外面再次封装一层ip数据包,封装源ip为DIP,目标ip为RIP.此时源ip为DIP,目标ip为RIP. c)之后负载调度器将数据包发给RS（因为在外层封装多了一层ip首部,所以可以理解为此时通过隧道传输）,此时源ip为DIP,目标ip为RIP. d)RS接收到报文后发现是自己的IP地址,就将报文接收下来拆除掉最外层的IP后会发现里面还有一层IP首部,而且目标是自己的lo接口VIP,那么此时RS开始处理此请求,处理完成之后通过lo接口送给eth0网卡,然后向外传递.此时的源IP地址为VIP,目标IP为CIP. e)之后将数据包发给客户端.
IP-TUN隧道 模式特点:
1.所有真实服务器节点既要有RIP,又要有VIP,并且RIP、必须是公网ip. 2.负载调度器和真实服务器必须支持隧道功能. 3.负载调度器只处理入站请求. 4.真实服务器一定不能使用负载雕塑群做默认网关. 5.不支持端口映射. 6.可跨互联网搭建集群,对网络环境要求较高.
实验环境IP分配:
[实验环境]
[类型] [网卡] [IP地址] [VIP/Tunl] [接入模式]
LVS-IPTUN eno16777728 200.168.10.1 200.168.10.10(VIP) 外网IP
Read-Ser1 eno16777728 200.168.10.2 200.168.10.10(Tunl) 外网IP
Read-Ser2 eno16777728 200.168.10.3 200.168.10.10(Tunl) 外网IP配置LVS调度器
1.通过YUM仓库快速安装Ipvsadm内核管理工具.
[root@localhost ~]# yum install -y ipvsadm
Package ipvsadm-1.27-7.el7.x86_64 already installed and latest version
Nothing to do2.修改内核参数,防止相同网络地址广播冲突.
[root@localhost ~]# echo "net.ipv4.conf.all.send_redirects = 0" >> /etc/sysctl.conf
[root@localhost ~]# echo "net.ipv4.conf.ens32.send_redirects = 0" >> /etc/sysctl.conf
[root@localhost ~]# echo "net.ipv4.conf.default.send_redirects = 0" >> /etc/sysctl.conf
[root@localhost ~]# sysctl -p #刷新内核参数
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.ens32.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
[root@localhost ~]# modprobe ip_vs && echo "ok" || echo "error" #查看内核是否加载
ok3.LVS服务器配置虚拟IP,虚拟一个隧道IP,4个255代表它自己一个网段,把网段添加到路由表防止走200.168.10.0网段.
[root@localhost ~]# ifconfig tunl0 200.168.10.10 netmask 255.255.255.255 up #虚拟一个隧道IP 4个255代表它自己一个网段
[root@localhost ~]# route add -host 200.168.10.10 dev tunl0 #把网段添加到路由表 防止走 200.168.10.0 网段
[root@localhost ~]# route -n #查看路由2.设置LVS调度器.
[root@localhost ~]# ipvsadm -C
[root@localhost ~]# ipvsadm -A -t 200.168.10.10:80 -s rr
[root@localhost ~]# ipvsadm -a -t 200.168.10.10:80 -r 200.168.10.2 -i
[root@localhost ~]# ipvsadm -a -t 200.168.10.10:80 -r 200.168.10.3 -i
[root@localhost ~]# ipvsadm -L -n --stat配置RS节点
提示:RelServer客户端每个节点都应该配置,每个节点都要执行以下操作
1.配置网卡子接口.
[root@localhost ~]# ifconfig tunl0 200.168.10.10 netmask 255.255.255.255 up
[root@localhost ~]# route add -host 200.168.10.10 dev tunl02.修改环境变量,写入配置文件开机自动加载.
[root@localhost ~]# echo "1" > /proc/sys/net/ipv4/conf/tunl0/arp_ignore
[root@localhost ~]# echo "2" > /proc/sys/net/ipv4/conf/tunl0/arp_announce
[root@localhost ~]# echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@localhost ~]# echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce3.访问集群IP,测试隧道效果.
[root@localhost ~]# elinks http://200.168.10.10