专栏首页运维小白18.11 LVS DR模式搭建

18.11 LVS DR模式搭建

LVS DR模式搭建

  • DR模式搭建 – 准备工作
  • 三台机器
  • 分发器,也叫调度器(简写为dir)
  • 133.130
  • rs1
  • 133.132
  • rs2
  • 133.133
  • vip
  • 133.200
  • DR模式搭建
    • dir上编写脚本 vim /usr/local/sbin/lvs_dr.sh //内容如下
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/usr/sbin/ipvsadm
vip=192.168.133.200
rs1=192.168.133.132
rs2=192.168.133.133
#注意这里的网卡名字
ifconfig ens33:2 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev ens33:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
  • 两台rs上也编写脚本 vim /usr/local/sbin/lvs_rs.sh//内容如下
#/bin/bash
vip=192.168.133.200
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
  • 分别在dir上和两个rs上执行这些脚本
  • 测试

LVS DR模式搭建

  • 在生产环境用中的比较多的是DR模式,NAT模式有瓶颈,节省公网IP,对小公司来说公网IP也是花钱的,如果是配置的多台机器,每台机器都去配置一个公网IP就是很浪费资源的情况,而且当下公网IP越来越少;
  • 另一种方案,搭建内部的lvs,全部都用内网,包括VIP也用内网,用一个公网IP做一个映射;公网的80端口映射到内网VIP的80端口,这样可以节省IP

准备工作

  1. DR模式,准备三台机器,只需要有有一个网卡,一个IP
  • 分发器,也叫调度器(简写为dir)
    • 133.130
  • rs1
    • 202.131
  • rs2
    • 202.133
  • vip
    • 133.200
  • vip绑定在所有的机器上,不仅分发器需要绑定,还有rs需要绑定
  1. 保证机器都可以通信
  2. 在dir分发器(即A机器)上编写脚本,在/usr/local/sbin/lvs_dr.sh编辑
[root@hanfeng ~]#  vim /usr/local/sbin/lvs_dr.sh

#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
#打开端口转发
ipv=/usr/sbin/ipvsadm
#这是一个变量
vip=192.168.202.200
rs1=192.168.202.131
rs2=192.168.202.133
#注意这里的网卡名字
ifdown ens37
ifup ens37
ifconfig ens37:2 $vip broadcast $vip netmask 255.255.255.255 up
#//给一个网卡设置一个虚拟网卡
route add -host $vip dev ens37:2
$ipv -C
$ipv -A -t $vip:80 -s wrr
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
#这里-g 指定DR模式
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1

保存退出
  1. 启动分发器上的脚本
[root@hanfeng ~]# sh /usr/local/sbin/lvs_dr.sh
Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/8)
[root@hanfeng ~]# 
  • 这里执行脚本出来的信息是没有错的,因为有ifdown ens37和ifup ens37重启网卡
  1. 在两台rs上写脚本(即B机器和C机器),在 /usr/local/sbin/lvs_rs.sh 编辑
B机器
[root@hf-02 ~]# vi /usr/local/sbin/lvs_rs.sh

#/bin/bash
vip=192.168.202.200
#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifdown lo
ifup lo
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
#参考文档www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
保存退出

C机器同上
  • 脚本定义/lo/arp_ignore和/all/arp_ignore的理解:
    • arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0
      • 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
      • 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
      • 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
      • 3 - 不回应该网络界面的arp请求,而只对设置的唯一和连接地址做出回应
      • 4-7 - 保留未使用
      • 8 -不回应所有(本地地址)的arp查询
  • 脚本定义/lo/arp_announce和/all/arp_announce的理解
    • arp_announce:对网络接口上,本地IP地址的发出的,ARP回应,作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口
      • 0 - (默认) 在任意网络接口(eth0,eth1,lo)上的任何本地地址
      • 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
      • 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.
  1. 执行B机器和C机器的脚本
sh /usr/local/sbin/lvs_rs.sh
  1. 在B机器和C机器执行命令 route -n 能看到有一个vip的路由 192.168.202.200
B机器
[root@hf-02 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         192.168.202.2   0.0.0.0         UG    100    0        0 ens32
192.168.202.0   0.0.0.0         255.255.255.0   U     100    0        0 ens32
192.168.202.200 0.0.0.0         255.255.255.255 UH    0      0        0 lo
[root@hf-02 ~]# 

C机器同上
  1. 用ip add命令查看,会看到 lo网卡上有一个vip,设定了一个IP
B机器
[root@hf-02 ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet 192.168.202.200/32 brd 192.168.202.200 scope global lo:0
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:e3:68:95 brd ff:ff:ff:ff:ff:ff
    inet 192.168.202.133/24 brd 192.168.202.255 scope global ens32
       valid_lft forever preferred_lft forever
    inet6 fe80::babb:1944:3d05:ff65/64 scope link 
       valid_lft forever preferred_lft forever
[root@hf-02 ~]# 

C机器同上
  1. 在dir分发器上(即A机器),用ip add命令查看,会看到ens37绑定了192.168.202.200
A机器
[root@hanfeng ~]# ip add
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eno16777736: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:ff:45:8f brd ff:ff:ff:ff:ff:ff
    inet 192.168.202.130/24 brd 192.168.202.255 scope global eno16777736
       valid_lft forever preferred_lft forever
    inet 192.168.202.150/24 brd 192.168.202.255 scope global secondary eno16777736:0
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:feff:458f/64 scope link 
       valid_lft forever preferred_lft forever
3: ens37: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:ff:45:99 brd ff:ff:ff:ff:ff:ff
    inet 192.168.80.100/24 brd 192.168.80.255 scope global ens37
       valid_lft forever preferred_lft forever
    inet 192.168.202.200/32 brd 192.168.202.200 scope global ens37:2
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:feff:4599/64 scope link 
       valid_lft forever preferred_lft forever
[root@hanfeng ~]# 

测试

  • 用curl命令访问这个vip(curl测试vip在rs上不太好用的,因为在本机绑定了这个vip,若是访问vip,等于访问自己),但是直接在A机器上去访问vip会发现失败,只能再开一个虚拟机来测试,不过用 ipvsadm -ln 命令,会看到ActiveConn都会有变化,表示实验成功
A机器
[root@hanfeng ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.202.200:80 wrr
  -> 192.168.202.131:80           Route   1      0          1         
  -> 192.168.202.133:80           Route   1      1          0         
[root@hanfeng ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.202.200:80 wrr
  -> 192.168.202.131:80           Route   1      1          0         
  -> 192.168.202.133:80           Route   1      2          0         
[root@hanfeng ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.202.200:80 wrr
  -> 192.168.202.131:80           Route   1      1          1         
  -> 192.168.202.133:80           Route   1      0          2         
[root@hanfeng ~]# 
  • 因为浏览器有缓存,所以没有办法及时的查看到lvs负载均衡的效果;但是通过刷新浏览器VIP地址,然后在dir机器是上查看ipvsadm的情况,可以发现,每一次刷新,ActiveConn都会有变化,刷新次数到一定数量是,InActConn也会产生变回,可见我们的实验是成功的。
  • 这时问题就来了,如果因为有缓存,就没有办法及时的查看到浏览器的变化,我们如何确定负载均衡是否成功?其实这些都是不用担心的,因为当访问量达到一定数量时,负载均衡的效果就会慢慢的显示出来,如同我们实验一样,正是因为访问量小,我们看到的页面都是一样;

总结

  • lvs 不管是nat 还是dr 模式 配置过程都挺简单的,需要注意的是修改内核参数,打开端口转发;NAT模式比较重要的是就是rs的网关为dir的IP

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Linux基础(day65)

    18.11 LVS DR模式搭建 LVS DR模式搭建 DR模式搭建 – 准备工作 三台机器 分发器,也叫调度器(简写为dir) 133.130 rs1 1...

    运维小白
  • 18.12 keepalived + LVS

    Keepalived+LVS DR 完整架构需要两台服务器(角色为dir)分别安装keepalived软件,目的是实现高可用,但keepalived本身也有负载...

    运维小白
  • 1.8 网络问题排查

    1.8 网络问题排查 在NAT模式下变成为桥接模式(右下角,网络适配器) 桥接模式下的方框,不用去选择,打钩。只需要点桥接模式就行 ? 先dhlicen...

    运维小白
  • vue学习总结----图示版1.0

    杂而不精的生活似乎总是要被人们吐槽,没那么丰富,也没那么平凡,像是一个瞎折腾的人生,有很多事情做,又整日无所事事的样子。这样的日子自己总算过得舒坦,...

    李才哥
  • Socket接口测试

    我们在做接口测试时,除了常见的http接口,还有一种比较多见,就是socket接口,今天讲解下怎么用Python进行websocket接口测试。

    我被狗咬了
  • JavaScript学习笔记023-对象方法0包装对象0静态属性

    Mr. 柳上原
  • CentOS集群相关问题

    要安装 openssh,openssh-servers,openssh-clients 然后启动ssh,要用service sshd start

    ZONGLYN
  • Web前端学习 第8章 egg基础教程1 Egg概述与创造项目

    对于刚接触的同学来说,可能会感觉很难,但创建一个项目是非常简单的,跟下面一步一步做吧!

    学习猿地
  • 【融职培训】Web前端学习 第8章 egg基础教程1 Egg概述与创造项目

    对于刚接触的同学来说,可能会感觉很难,但创建一个项目是非常简单的,跟下面一步一步做吧!

    学习猿地
  • eggjs快速入门

    每个中间件就像是洋葱的一层,所有的请求经过一个中间件都会执行两次,这样可以非常方便的后置处理逻辑。

    不作声

扫码关注云+社区

领取腾讯云代金券