专栏首页小网管运维之路生产LVS负载均衡与keepalive的高可用实践

生产LVS负载均衡与keepalive的高可用实践

LVS负载DR模式高可用

环境

  • centos7
  • keepalived

三种工作模式

VS/NAT模式(Network address translation) VS/TUN模式(tunneling) DR模式(Direct routing):常用;内网单用卡

八种调度算法

官方: http://www.linuxvirtualserver.org/zh/lvs4.html

固定调度算法:rr,wrr,dh,sh 轮询调度(Round-Robin Scheduling) 加权轮询调度(Weighted Round-Robin Scheduling) 目标地址散列调度(Destination Hashing Scheduling) 源地址散列调度(Source Hashing Scheduling)

动态调度算法:wlc,lc,lblc,lblcr 最小连接调度(Least-Connection Scheduling) 加权最小连接调度(Weighted Least-Connection Scheduling) 基于局部性的最少链接(Locality-Based Least Connections Scheduling) 带复制的基于局部性最少链接(Locality-Based Least Connections with Replication Scheduling)

基础配置

vip:10.0.1.15

Director节点 lvs-1:10.0.1.8 (master) Director节点 lvs-2:10.0.1.9 (backup)

在lvs主机上执行 keepalived shell

Real server1 web1:10.0.1.4 Real server1 web2:10.0.1.5

在后端主机上执行 lvs_rs.sh shell

服务部署

yum在线装

yum -y install keepalived

开启转发

echo 1 > /proc/sys/net/ipv4/ip_forward
grep  ip_forward  /etc/sysctl.conf &>/dev/null || echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf

主服务器配置

/etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
       admin@attacker.club
   }

notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server smtp.qq.com
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_sync_group VG1 {
        group{
        VI_1
                }
                    }
vrrp_instance VI_1 {
        state MASTER
        interface eth0
        virtual_router_id 51
        // 虚拟的路由ID两台参数必须一致
        priority 100
        // 定义优先级,谁大就是master
        advert_int 1
        // 超出1s如果对方没有反应它就接管
        nopreempt  //不抢占,master节点

        authentication {
        auth_type PASS
        auth_pass lvsPASS0
                        }

        virtual_ipaddress {
        10.0.1.15
        // 定义一个VIP
        }
        }


        virtual_server 10.0.1.15 80 {
        delay_loop 5
        // 每隔5秒查询realserver状态
        lb_algo rr
        // lvs 算法
        lb_kind DR
        // DR模式
        // persistence_timeout 60
        // 会话保持时间
        protocol TCP

                real_server 10.0.1.4 80 {
                weight 1 // 权重
                inhibit_on_failure
                // 服务器健康失败,将weight设置为0,而不删除
                // notify_down /root/MySQL.sh  //检测到服务down后执行的脚本
                TCP_CHECK {
                connect_timeout 5
                // 连接超时时间;秒
                nb_get_retry 3
                // 重连次数
                delay_before_retry 3
                // 重连间隔时间
                connect_port 80
                // 健康检查端口
                          }
                                              }
                real_server 10.0.1.5 80 {
                weight 1
                inhibit_on_failure
                TCP_CHECK {
                connect_timeout 5
                nb_get_retry 3
                delay_before_retry 3
                connect_port 80
                          }
                                              }

}

备服务器配置

替换

% s/MASTER/BACKUP/
% s/priority 100/priority 90/
g/nopreempt/d

启动服务

systemctl start keepalived
systemctl enable  keepalived

状态查看

ip add # 查看浮动ip地址
systemctl status keepalived # 查看状态

ipvsadm -ln
ipvsadm -ln --stats
ipvsadm -ln --rate

Real server (后端服务)

/opt/lvs_rs.sh

#read -p "请输入vip地址:" vip
vip=10.0.1.15

#把vip绑定在lo上,是为了实现rs直接把结果返回给客户端
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
#以下操作为更改arp内核参数,目的是为了让rs顺利发送mac地址给客户端
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

nginx两台配置

server {
listen 80 default_server;
default_type application/json;
server_name _;
return 200 '{"date":"$time_local","host":"web-2","result":"nginx json"}';
access_log  /usr/local/nginx/logs/default.log;
}

持续连接

1)持久连接(lvs persistence)模板:
    实现无论使用任何调度算法,在一段时间内(默认360s),能够实现将来自同一个地址的请求始终发往同一个RS
        ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
            -p # :定义持久时长

2)持久连接实现方式:
    每端口持久(PPC):每个端口对应定义为一个集群服务,每个集群服务单独调度,同一服务持久
    每防火墙标记持久(PFWMC ):基于防火墙标记定义集群服务,可实现将多个端口上的应用统一调度,即所谓的port Affinity,同一防火墙标记持久
    每客户端持久(PCC ):基于0端口(表示所有服务)定义集群服务,即将客户端对所有应用的请求都调度至后端主机,必须定义为持久模式,所有服务持久将vip的端口定义为0,则表示所有请求都将发送后台服务器。

3)具体实现
    在VS上进行如下操作
        [root[@centos7](https://my.oschina.net/centos7) ~]#ipvsadm -E -f 12 -s rr -p 300   
        [root[@centos7](https://my.oschina.net/centos7) ~]#ipvsadm -Ln
            IP Virtual Server version 1.2.1 (size=4096)
            Prot LocalAddress:Port Scheduler Flags
              -> RemoteAddress:Port           Forward Weight ActiveConn InActConn      
            FWM  12 rr persistent 300
              -> 192.168.74.129:0             Route   1      0          0         
              -> 192.168.74.133:0             Route   1      0          0

session保存机制(会话机制)

session绑定(session sticky)
    始终将同一个请求者的请求发送到同一台RS(第一次请求由算法调度)
    缺陷:没有容错能力,若此RS宕机,则会话丢失,并且将同一请求发送到同一RS有损均衡效果。
session复制(session cluster)
    在RS之间同步session,因此每个RS都保持集群中的所有session
    缺陷:增加了RS的负担,对大规模的集群不适用
session服务器(session server),redis:
    用单独一组服务器来管理session

转至:https://www.cnblogs.com/shenxm/p/8461303.html

ftp负载均衡

lMySQL-ha

!Configuration File for keepalived  

global_defs {  
         notification_email {  
         xiaolin0199@gmail.com  
           }  
         notification_email_from xiaolin0199@gmail.com  
         smtp_server 127.0.0.1  
         smtp_connect_timeout 30  
         router_id MySQL-ha  
         }  

vrrp_instance VI_1 {  
        state BACKUP   #两台配置此处均是BACKUP  
        interface eth0  
        virtual_router_id 51  
        priority 100   #优先级,另一台改为90  
        advert_int 1  
        nopreempt  #不抢占,只在优先级高的机器上设置即可,优先级低的机器不设置  
        authentication {  
          auth_type PASS  
          auth_pass 1111  
        }  
        virtual_ipaddress {  
          192.168.0.200  
        }  
        }  

virtual_server 192.168.0.200 3306 {  
        delay_loop 2   #每个2秒检查一次real_server状态  
        lb_algo wrr   #LVS算法  
        lb_kind DR    #LVS模式  
        persistence_timeout 60   #会话保持时间  
        protocol TCP  
        real_server 192.168.0.219 3306 {  
        weight 3  
        notify_down /usr/local/MySQL/bin/MySQL.sh  #检测到服务down后执行的脚本  
        TCP_CHECK {  
          connect_timeout 10    #连接超时时间  
          nb_get_retry 3       #重连次数  
          delay_before_retry 3   #重连间隔时间  
          connect_port 3306   #健康检查端口  
        }  
        }  
        }  

编写检测服务down后所要执行的脚本

/usr/local/MySQL/bin/MySQL.sh

 #!/bin/sh
 pkill keepalived

注:此脚本是上面配置文件notify_down选项所用到的,keepalived使用notify_down选项来检查real_server的服务状态,当发现real_server服务故障时,便触发此脚本; 我们可以看到,脚本就一个命令,通过pkill keepalived强制杀死keepalived进程,从而实现了MySQL故障自动转移。

转至:https://xiaolin0199.iteye.com/blog/2017997

FTP负载均衡

https://blog.51cto.com/11091005/2115025

keepalived 日志定义

/etc/sysconfig/keepalived

KEEPALIVED_OPTIONS= "-D -S 0 -d"

-D是让keepalived详细记录log -d是在日志里打出keepalived读到的配置信息 -S 0是到会将日志发送给syslog,且日志定为LOCAL0

``` echo "local0.* /var/log/keepalived.log">> /etc/rsyslog.conf

让syslog帮忙把接收到的日志写到文件

systemctl restart rsyslog

重启服务

tail /var/log/keepalived.log

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • api网关相关配置

    2019年6月19日 ⋅ 浏览量: 8    ...

    晴天Online
  • Linux系统中对ipmi 配置管理(远程管理卡工具)

    2019年6月19日 ⋅ 浏览量: 3    ...

    晴天Online
  • 搜索引擎安全利用

    2019年3月24日 ⋅ 浏览量: 31    ...

    晴天Online
  • 分布式Session

    Session 是客户端与服务器通讯会话跟踪技术,服务器与客户端保持整个通讯的会话基本信息。

    用户3467126
  • 数据分析要会写代码

    最近工作任务有些忙,主要是各个部门的数据分析需求再加上APP后端性能优化挤到一块儿去了。

    有福
  • apache服务器配置证书方法!

    命令:openssl req -new -key server.key > server.csr

    习惯说一说
  • angularjs源码笔记(5.1)--parse

    alexqdjay
  • liferay smile face

    说到这个face,自从70开始改版的时候,我就一度以为这个face是歪的,后来才知道,人家就是故意歪的,并且它是一个gif图片,正好最近在学习css相关的东西,...

    littlelyon
  • Zuul配置心得

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    多凡
  • 基于超点图的大规模点云分割

    本期介绍一篇基于大规模点云的语义分割相关论文《Large-scale Point Cloud Semantic Segmentation with Superp...

    点云PCL博主

扫码关注云+社区

领取腾讯云代金券