FastDFS蛋疼的集群和负载均衡(十三)之LVS-DR环境安装

Interesting things

安装LVS-DR环境 vip:192.168.12.100 lvs-director:192.168.12.4 nginx1:192.168.12.2 nginx2:192.168.12.3

What did you do today

  • 安装lvs的管理工具ipvsadm.

yum install ipvsadm

  • 校验是否安装成功

ipvsadm -h

image.png

  • 在192.168.12.2和192.168.12.3上安装nginx,此处略。可以查看我FastDFS系列博客。
  • 进入/usr/local/nginx/conf/目录下,创建nginx-lvs.conf

http { include mime.types; default_type application/octet-stream; sendfile on; server { listen 80; server_name localhost; location / { root html; index index.html index.htm; } }

在Director Server进行配置(192.16812.4)

  • 在eth0上绑定虚拟ip,此处在eth0设备上绑定了一个虚拟设备eth0:0,同时设置了一个虚拟ip是192.168.12.100,然后指定广播地址也为192.168.12.100,需要特别注意的是,虚拟ip地址的广播地址是它本身,子网掩码是255.255.255.255.

ifconfig eth0:0 192.168.12.100 broadcast 192.168.12.100 netmask 255.255.255.255 up

image.png

  • 添加路由规则。

route add -host 192.168.12.100 dev eth0:0

image.png

  • 启动系统的包转发功能。参数值为1时启用ip转发,为0时禁止ip转发。

echo "1" > /proc/sys/net/ipv4/ip_forward

  • 清除原有转发规则。

ipvsadm --clear

  • 添加虚拟ip规则, -s -rr 表示轮询策略,80表示负载转发的端口是80,-A表示添加一个新的集群服务,-t表示tcp协议。

ipvsadm -A -t 192.168.12.100:80 -s rr

  • 在虚拟ip中添加服务规则,在新加虚拟ip记录中添加两条新的Real Server记录, -g 表示指定LVS的工作模式为直接路由模式。lvs进行负载转发需要保证lvs负载的端口要和nginx服务的端口保持一致,这里都是80。-a表示添加一个新的realserver规则。

ipvsadm -a -t 192.168.12.100:80 -r 192.168.12.2:80 -g ipvsadm -a -t 192.168.12.100:80 -r 192.168.12.3:80 -g

  • 重启lvs

ipvsadm

image.png

在LVS的DR和TUN模式下,用户的访问请求到达真实服务器后,是直接返回给用户的,而不再经过前端的Director Server。因此,就需要在每个Real Server节点上增加虚拟vip地址,这样数据才能直接返回给用户。

接着我们就需要在Real Server上进行配置。(192.168.12.2、192.168.12.3)

  • 老操作,在回环设备上绑定虚拟ip地址192.168.12.4

ifconfig lo:0 192.168.12.100 broadcast 192.168.12.100 netmask 255.255.255.255 up /sbin/route add-host 192.168.12.100 dev lo:0

image.png

  • 关闭arp解析。

arp_ignore:定义接收到arp请求时的响应级别 0 - 只要本地配置有相应的地址,就给予响应。 1 - 哪个接口上接受arp请求,就从哪个端口响应。DR模式使用

arp_announce:定义将自己地址向外通告时的通告级别 0 - 将本地任何接口上的任何地址向外通告。 1 - 试图仅向目标网络通告与其网络匹配的地址。 2 - 仅向与本地接口上地址匹配的网络进行通告。DR模式使用

sysctl -p使修改生效!

echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce sysctl -p

image.png

  • 在Director Server(192.168.12.2、192.168.12.3) 和 Real Server(192.168.12.4)的防火墙添加端口80策略。

-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT

image.png

注意事项:

  1. 测试时需要在nginx的http中设置keepalive_timeout 0; 取消使用http持久连接模式,保证每次客户端发送请求都需要向服务端简历连接,这样做是为了测试效果更加明显,每次刷新界面都要经过lvs负载转发。 2.lvs进行负载转发需要保证lvs负载端口要和nginx服务的端口保持一致,这里是80

3.在nginx中keepalive_timeout的默认值是75s,默认使用http持久连接模式,可使客户端到服务器端的连接持续有效,当出现对服务器的后继请求时,可避免建立或重新建立连接。生产环境建议keepalive_timeout不要设置为0

  • 修改192.168.12.2和192.168.12.3下/usr/local/nginx/html/目录中index.html的内容,使其个性化。
  • 第一次请求192.168.12.100

image.png

  • 第二次请求192.168.12.100

image.png

  • 假设我停到nginx1

image.png

  • 我们再次访问192.168.12.100,还是可以的!因为lvs采用轮询策略,如果其中一个nginx请求不可达,那么久请求另一个nginx!

image.png

  • 为了方便配置启动lvs,我们可以将Director Server 和 RealServer配置过程封装到Shell脚本中。

在Director Server进行配置

  • 在/etc/init.d下创建lvsdr,内容如下:
#!/bin/sh
# 定义虚拟ip
VIP=192.168.12.100
# 定义realserver,并已空格分开,根据需求修改
RIPS="192.168.12.2 192.168.12.3"

# 定义提供服务的端口
SERVICE=80

# 调用init.d脚本的标准库
. /etc/rc.d/init.d/functions
case $1 in
        start)
        echo "Start LVS of DR Mode"
        # 开启ip转发
        echo "1" > /proc/sys/net/ipv4/ip_forward
        # 绑定虚拟ip
        ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up
        route add -host $VIP dev eth0:0
        # 清除lvs规则
        ipvsadm -C
        # 添加一条虚拟服务器记录
    # -p指定一定的时间内将相同的客户端分配到同一台后端服务器
    # 用于解决session的问题,测试时或有别的解决方案时建议去掉
        ipvsadm -A -t $VIP:$SERVICE -s rr

        # 添加真实服务器记录
        for RIP in $RIPS
    do
        echo $RIP:$SERVICE;
                ipvsadm -a -t $VIP:$SERVICE -r $RIP:$SERVICE -g
        done
        # 设置tcp tcpfin  udp的超时连接值
        ipvsadm --set 30 120 300
        ipvsadm
        ;;

        stop)
        echo "Stop LVS DR"
        ifconfig eth0:0 down
        ipvsadm -C
        ;;
        *)
        echo "Usage:$0 {start ¦ stop}"
        exit 1
esac
  • 修改脚本权限。

chmod +x /etc/init.d/lvsdr 启动: service lvsdr start 停止: service lvsdr stop

在RealServer上进行配置

  • 在/etc/init.d/下创建lvsdr,内容如下:
#!/bin/sh
VIP=192.168.12.100
. /etc/rc.d/init.d/functions
case $1 in
        start)
        echo "lo:0 port starting"
        # 为了相应lvs调度器转发过来的包,需在本地lo接口上绑定vip
        ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
        # 限制arp请求
        echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
        echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
        echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
        ;;
        stop)
        echo "lo:0 port closing"
        ifconfig lo:0 down
        echo "0" > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo "0" > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
        ;;
        *)
        echo "Usage: $0 {start ¦ stop}"
        exit 1
esac
  • 修改脚本权限。

chmod +x /etc/init.d/lvsdr 启动: service lvsdr start 停止: service lvsdr stop


Summary

明天撸LVS四层+Nginx七层负载均衡!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏点滴积累

Ubuntu14.04双网卡主备配置

近日有个需求,交换机有两台,做了堆叠,服务器双网卡,每个分别连到一台交换机上。这样就需要将服务器的网卡做成主备模式,以增加安全性,使得当其中一个交换机不通的时候...

55460
来自专栏CSDN技术头条

Redis错误配置详解

Redis提供了许多提高和维护高效内存数据库使用的工具。在无需额外配置应用层的前提下,Redis独特的数据类型、指令和命令调优就可以满足应用的需求,但是错误的配...

233100
来自专栏Crossin的编程教室

【Git 第3课】 安装Git

要用Git,首先肯定要安装它。简要说一下Win,Mac和Linux三种平台的安装方法。 Windows Git的官网(http://git-scm.com)提供...

37470
来自专栏WeTest质量开放平台团队的专栏

Linker加载so失败问题分析

原文链接:https://wetest.qq.com/lab/view/421.html

15310
来自专栏GopherCoder

ReStructuredText 文档编写全攻略编写文档说明

35630
来自专栏QQ音乐前端团队专栏

【译】开始在web中使用JS Modules

16120
来自专栏Elson's web

【译】开始在web使用JS Modules

原文说的JS modules,实际上指的是ES6的模块化特性,通过<script type="module">可以实现不经过打包直接在浏览器中import/ex...

37690
来自专栏云计算

重新审视分布式(微服务)体系结构中的全局数据一致性

早在2015年的时候,我写了几篇文章,介绍如何通过搭载标准Java EE事务管理器以获得跨分布式服务的数据一致性(查看原文请点击这里,基于Spri...

17220
来自专栏数据和云

Oracle 原版经典ppt首次公开,免费下载:Oracle RAC Internals

接下来我们将会针对ppt中最经典的模块进行讲解分享。 一、Cluster Domain 在12.2中,OracleRAC有很多重要的改进。而Cluster Do...

47270
来自专栏大前端开发

微信小程序之生成自定义参数小程序二维码

扫码已经成为一种常见又方便的进入移动应用的途径,可以把线上线下的用户流量带入你的移动应用中来。微信小程序也提供了扫码进入的功能,可以通过扫描二维码或者微信小程序...

70840

扫码关注云+社区

领取腾讯云代金券