Keepalived+Nginx架构整理版

Keepalived介绍

keepalived是一个类似于layer3, 4, 5 交换机制的软件,也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web服务器

keepalved官方体系结构图:

环境准备

  1. 操作系统:CentOS6.6 64位 2台
  2. Nginx-Master 10.0.0.60
  3. Nginx-Backup 10.0.0.61
  4. VIP 10.0.0.62

注:未做特别说明,两台服务器(两个节点)都一样操作

安装Nginx

使用《OneinStack》Nginx选择y,其余n

安装Keepalived

在Nginx-Master、Nginx-Backup:

  1. cd ~/oneinstack/src
  2. wget http://www.keepalived.org/software/keepalived-1.2.22.tar.gz
  3. tar xzf keepalived-1.2.22.tar.gz
  4. cd keepalived-1.2.22
  5. ./configure --prefix=/usr/local/keepalived
  6. make && make install

配置Keepalived

在Nginx-Master、Nginx-Backup:

  1. ln -s /usr/local/keepalived/etc/keepalived /etc/keepalived
  2. ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/keepalived
  3. ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/keepalived
  4. ln -s /usr/local/keepalived/sbin/keepalived /usr/bin/keepalived
  5. chkconfig keepalived on

在Nginx-Master修改配置文件,vi /etc/keepalived/keepalived.conf

  1. ! Configuration File for keepalived
  2. global_defs {
  3. notification_email {
  4. admin@linuxeye.com #设置报警邮件地址,可以设置多个,每行一个。 需开启本机的sendmail服务
  5. }
  6. notification_email_from no-reply@linuxeye.com #设置邮件的发送地址
  7. smtp_server 127.0.0.1 #设置smtp server地址
  8. smtp_connect_timeout 30 #设置连接smtp server的超时时间
  9. router_id LVS_DEVEL #表示运行keepalived服务器的一个标识。发邮件时显示在邮件主题的信息
  10. }
  11. vrrp_script chk_nginx {
  12. script "/usr/local/keepalived/sbin/check_nginx.sh" #该脚本检测ngnix的运行状态,并在nginx进程不存在时尝试重新启动ngnix,如果启动失败则停止keepalived,准备让其它机器接管。
  13. interval 2 #每2s检测一次
  14. weight 2 #检测失败(脚本返回非0)则优先级2
  15. }
  16. vrrp_instance VI_1 {
  17. state MASTER #指定keepalived的角色,MASTER表示此主机是主服务器,BACKUP表示此主机是备用服务器
  18. interface eth0 #指定HA监测网络的接口
  19. virtual_router_id 55 #虚拟路由标识,这个标识是一个数字,同一个vrrp实例使用唯一的标识。即同一vrrp_instance下,MASTER和BACKUP必须是一致的
  20. priority 100 #定义优先级,数字越大,优先级越高,在同一个vrrp_instance下,MASTER的优先级必须大于BACKUP的优先级
  21. advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
  22. authentication { #设置验证类型和密码
  23. auth_type PASS #设置验证类型,主要有PASS和AH两种
  24. auth_pass linuxeye #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码才能正常通信
  25. }
  26. virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
  27. 10.0.0.62
  28. }
  29. track_script {
  30. chk_nginx #引用VRRP脚本,即在 vrrp_script 部分指定的名字。定期运行它们来改变优先级,并最终引发主备切换。
  31. }
  32. }

在Nginx-Backup修改配置文件,vi /etc/keepalived/keepalived.conf

  1. ! Configuration File for keepalived
  2. global_defs {
  3. notification_email {
  4. admin@linuxeye.com #设置报警邮件地址,可以设置多个,每行一个。 需开启本机的sendmail服务
  5. }
  6. notification_email_from no-reply@linuxeye.com #设置邮件的发送地址
  7. smtp_server 127.0.0.1 #设置smtp server地址
  8. smtp_connect_timeout 30 #设置连接smtp server的超时时间
  9. router_id LVS_DEVEL #表示运行keepalived服务器的一个标识。发邮件时显示在邮件主题的信息
  10. }
  11. vrrp_script chk_nginx {
  12. script "/usr/local/keepalived/sbin/check_nginx.sh" #该脚本检测ngnix的运行状态,并在nginx进程不存在时尝试重新启动ngnix,如果启动失败则停止keepalived,准备让其它机器接管。
  13. interval 2 #每2s检测一次
  14. weight 2 #检测失败(脚本返回非0)则优先级2
  15. }
  16. vrrp_instance VI_1 {
  17. state BACKUP #指定keepalived的角色,MASTER表示此主机是主服务器,BACKUP表示此主机是备用服务器
  18. interface eth0 #指定HA监测网络的接口
  19. virtual_router_id 55 #虚拟路由标识,这个标识是一个数字,同一个vrrp实例使用唯一的标识。即同一vrrp_instance下,MASTER和BACKUP必须是一致的
  20. priority 50 #定义优先级,数字越大,优先级越高,在同一个vrrp_instance下,MASTER的优先级必须大于BACKUP的优先级
  21. advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
  22. nopreempt #设置nopreempt防止抢占资源,只生效BACKUP节点
  23. authentication { #设置验证类型和密码
  24. auth_type PASS #设置验证类型,主要有PASS和AH两种
  25. auth_pass linuxeye #设置验证密码,在同一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码才能正常通信
  26. }
  27. virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个
  28. 10.0.0.62
  29. }
  30. track_script {
  31. chk_nginx #引用VRRP脚本,即在 vrrp_script 部分指定的名字。定期运行它们来改变优先级,并最终引发主备切换。
  32. }
  33. }

检测脚本,vi /usr/local/keepalived/sbin/check_nginx.sh

  1. #!/bin/bash
  2. if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == "" ];then
  3. #echo 1
  4. /etc/init.d/nginx start
  5. sleep 5
  6. if [ "$(ps -ef | grep "nginx: master process"| grep -v grep )" == "" ];then
  7. /etc/init.d/keepalived stop
  8. #echo 2
  9. fi
  10. fi

脚本加上可执行权限

  1. chmod +x /usr/local/keepalived/sbin/check_nginx.sh

验证

service keepalived start #启动Nginx-Master

service keepalived start #启动Nginx-Backup

ip addr #2台服务器分别执行,绑定虚拟IP在Nginx-Master

service keepalived stop #停止Nginx-Backup

ip addr #2台服务器分别执行,绑定虚拟IP在Nginx-Backup

service keepalived start #再启动Nginx-Backup

ip addr #2台服务器分别执行,绑定虚拟IP在Nginx-Master

上述切换默认测试会导致的master和backup之间来回切换

通常如果master服务死掉后backup会变成master,但是当master服务又好了的时候master此时会抢占VIP,这样就会发生两次切换对业务繁忙的网站来说是不好的。我们可以在配置文件加入nopreempt非抢占,但是这个参数只能用于state为BACKUP,故我们在用HA的时候最好MASTER和backup的state都设置成BACKUP让其通过priority来竞争。

拓展

假设我要重装这2台服务器,但是过程不容许丢一个包,通常情况下先替换backup,把master停止,让vip漂移只backup,替换master,但是在vip漂移过程可能会有丢2个包,如果避免丢包?

方法:我们可以在master替换之前,利用iptables将数据包转发到backup,再停止master keepalived

  1. iptables -F
  2. iptables -t nat -I PREROUTING -i eth0 -j DNAT --to-destination 10.0.0.61
  3. iptables -t nat -I POSTROUTING -o eth0 -j MASQUERADE

本文分享自微信公众号 - 马哥Linux运维(magedu-Linux)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-09-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张戈的专栏

Haproxy进阶管理:命令行控制后端节点上下线

很多业务系统都用到了 Haproxy 这个高性能反向代理负载均衡器。在日常运维当中,Haproxy 后端节点的上(接入)、下(剔除)线操作绝对是家常便饭,而且人...

52570
来自专栏pangguoming

centos 下 mysql+keepalived实现双主自由切换

本文的目的是搭建一个互为主从的mysql高可用架构,用来保证mysql服务器宕机的时候,能够自动的切换的另一台mysql服务器。

13420
来自专栏Python爬虫与数据挖掘

在navicat中如何新建连接数据库

前几天给大家分享了如何安装Navicat,没有来得及上车的小伙伴可以戳这篇文章:手把手教你安装Navicat——靠谱的Navicat安装教程。今天给大家分享一下...

14820
来自专栏java思维导图

图文并茂,深入浅出Nginx

01前言 Nginx是一款轻量级的Web服务器、反向代理服务器,由于它的内存占用少,启动极快,高并发能力强,在互联网项目中广泛应用。 ? 架构图 上图基本上说明...

45350
来自专栏安全领域

使用JavaScript开发物联网设备也会非常安全

本文将引导你完成一个练习,向你展示如何在 IoTivity 安全框架上使用 Java 对 OCF 设备进行快速原型设计。

533100
来自专栏散尽浮华

Heartbeat使用梳理

在日常的集群系统架构中,一般用到Heartbeat的主要就2种: 1)高可用(High Availability)HA集群, 使用Heartbeat实现,也称为...

46470
来自专栏程序员宝库

前端性能优化 —— 前端性能分析

作者:ouven https://my.oschina.net/zhangstephen/blog/1601380 前端性能优化是一个很宽泛的概念,本书前面的部...

542120
来自专栏张戈的专栏

WordPress发布/更新文章、提交/审核评论自动清理VeryCloud缓存

上一篇文章分享了WordPress 发布文章评论自动刷新腾讯云 CDN 的教程,而博客现在还用到了 VeryCloud 的 CDN,正好有朋友在文章后面留言说 ...

36190
来自专栏帘卷西风的专栏

关于linux系统端口查看和占用的解决方案

转载请注明出处:帘卷西风的专栏(http://blog.csdn.net/ljxfblog)

12120
来自专栏容器云生态

Openstack平台搭建之第一天 基于RDO方式搭建

openstck基于web方式的rdo部署 If you have any question ,please contact me by weichuangxx...

359100

扫码关注云+社区

领取腾讯云代金券