FastDFS蛋疼的集群和负载均衡(六)之Nginx高可用集群

diary_report.jpg

Interesting things

接着上一篇。

What did you do today

Keepalived是一个高性能的服务器高可用解决方案,Keepalived主要防止服务器单点故障的发生问题,可以通过Nginx的配合实现web服务端的高可用。

  • 还记得我们空出来的192.168.12.77和192.168.12.88吗?这2台设备就是用来配置nginx的集群和高可用。我们可以虚拟出来一个192.168.12.XX,外界请求访问虚拟ip而不是真正的Nginx。
  • 那什么是高可用呢?

高可用是指同一时间提供服务的只有一台设备,主服务器挂掉后,备用服务器便开始提供服务。

  • 老操作, yum install pcre、yum install pcre-devel、yum install zlib、yum install zlib-devel、yum install openssl、openssl-devel(openssl 现在我可能还用不上)为什么要安装这些?我前几篇博客没有讲,现在来讲讲。

nginx的http模块使用pcre来解析正则表达式 pcre-devel是使用pcre开发的一个二次库,nginx也需要。 zlib提供了很多种压缩的方式,nginx使用zlib对http包的内容进行gzip nginx支持https,所以需要安装openssl库。

  • 下载keepalived-1.2.18.tar.gz
  • 把keepalived-1.2.18.tar.gz拷贝到/usr/local/software/目录下
  • 解压keepalived-1.2.18.tar.gz到/usr/local/,命令:tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/

image.png

  • 进入/usr/local/keepalived-1.2.18/,进行配置检查。命令:./configure --prefix=/usr/local/keepalived

image.png

  • 老操作编译安装,make && make install
  • 创建/etc/keepalived目录,我们需要把keepalived做成一个服务,这样可以开机自行启动。

image.png

  • 进入/usr/local/keepalived/etc/keepalived/,将keepalived.conf拷贝到/etc/keepalived/目录下。

image.png

image.png

  • 进入/usr/local/keepalived/etc/rc.d/init.d/目录下,将keepalived拷贝到/etc/init.d/目录下

image.png

  • 进入/usr/local/keepalived/etc/sysconfig目录下,将keepalived拷贝到/etc/sysconfig/目录下。
  • 创建第一个软链接,ln -s /usr/local/keepalived/sbin/keepalived /usr/sbin/
  • 设置为keepalived开机启动,chkconfig keepalived on
  • 开启keepalived服务, service keepalived start.

image.png

  • 现在192.168.12.77修改/etc/keepalived/keepalived.conf文件。修改后的配置内容如下:
! Configuration File for keepalived
        global_defs {
                 router_id nginx_cx_7_no_1
        }

        vrrp_script chk_nginx {
                script "/etc/keepalived/nginx_check.sh"
                interval 2
                weight -20
        }

        vrrp_instance VI_1 {
        }

        vrrp_instance VI_1 {
                state MASTER
                interface eth0
                virtual_router_id 77
                mcast_src_ip 192.168.12.77
                priority 100
                nopreempt
                advert_int 1

                authentication {
                        auth_type PASS
                        auth_pass 1111
                }

                track_script {
                        chk_nginx
                }

                virtual_ipaddress {
                        192.168.12.111
                }
        }
  • 下面我们就具体的讲讲配置内容。 1.global_defs代表配置中的主机名,我就把192.168.12.77设置为nginx_cx_7_no_1把,所以router_id的值为nginx_cx_7_no_1

global_defs { router_id nginx1 }

2.每隔2s去执行/etc/keepalived/nginx_check.sh脚本,这一项检查从开始便一直进行,interval表示间隔时间,weight -20代表脚本执行成功后192.168.12.77这个节点的优先级降低20. vrrp_script chk_nginx { script "/etc/keepalived/nginx_check.sh" interval 2 weight -20 } 3.state MASTER表示该节点角色为master,interface eth0表示设备的网卡是eth0,virtual_router_id 77是取自当前设备的ip也就是192.168.12.77的后两位。mcast_src_ip 192.168.12.7指定当前设备的ip,priority 100代表优先级是100,优先级在keepalived实现高可用方面超级重要。keepalived是根据优先级来选择当前提供服务的设备。

  1. 我们这里用192.168.12.77指A设备,用192.168.12.88指B设备。假设A设备的优先级是100,B设备的优先级是90,那么keepalived服务器一开始去检查优先级,发现A设备的优先级很高,于是让A设备当大哥,让它去提供服务。当A设备的nginx挂了后,由于nginx_check脚本每2秒执行一次,发现A设备没有nginx进程后,先会尝试重新启动nginx,如果重新启动还是不行,这就很皮了!然后大发雷霆,就会杀掉所有的keepalived进程。然后回调给keepalived服务器,告知大哥的nginx挂掉了。keepalived服务器得知后,会把A设备的优先级减20,从而A设备的优先级为80。这样下次keepalived来检查优先级时,B设备的优先级比A设备搞,那么B设备就可以对外提供服务。美滋滋,这就实现了高可用。 5.这段配置,2个节点要一样,表示它们属于一个组,keepalived会同一组中去做检查并保持高可用。

authentication { auth_type PASS auth_pass 1111 }

6.track_script里面的chk_nginx要与前面定义的定时执行脚本名(vrrp_script chk_nginx { } )保持一致。

  1. 自己定义对外提供服务的虚拟ip。

virtual_ipaddress { 192.168.12.111 }

  • 接着我们也修改192.168.12.88的keepalived.conf的内容。如下文所示:
        global_defs {  
                 router_id nginx_cx_8_no_2
        }         
        vrrp_script chk_nginx {
                script "/etc/keepalived/nginx_check.sh"
                interval 2  
                weight -20  
        }       
        
        vrrp_instance VI_1 {
                state BACKUP
                interface eth0
                virtual_router_id 77
                mcast_src_ip 192.168.12.88
                priority 90  
                nopreempt    
                advert_int 1
                
                authentication {
                        auth_type PASS
                        auth_pass 1111
                }       
                
                track_script {
                        chk_nginx
                }       

                virtual_ipaddress {
                        192.168.12.111
                }
        }
  • 我们发现192.168.12.88的keepalived的router_id 是nginx_cx_8_no_2,state是BACKUP(备用),priority是90。这些和192.168.12.77是不一样的。这里要注意的是virtual_router_id必须要保持一致。
  • 192.168.12.77和192.168.12.88设备中我们还没有配置nginx,我们需要解压编译安装nginx。
  • 解压nginx-1.6.2.tar.gz到/usr/local/

image.png

  • 进入/usr/local/nginx-1.6.2/目录,输入 ./configure --prefix=/usr/local/nginx进行验证nginx 。

image.png

  • 输入make && make install 编译安装nginx

image.png

*在/etc/keepalived/目录下,创建nginx_check.sh,命令:touch nginx_check.sh,然后写入以下脚本:

A=`ps -C nginx --no-header |wc -l`  
if [ $A -eq 0 ];then  
    /usr/local/nginx/sbin/nginx  
    sleep 2  
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then  
        killall keepalived  
    fi  
fi  
  • 老操作,在iptables添加80端口策略,命令:-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT,然后重启防火墙,让策略生效。

image.png

  • 为了区分欢迎页是哪个节点下的欢迎页,我先修改192.168.12.77的欢迎页。我们进入/usr/local/nginx/html/目录下,修改index.html,如图所示。

image.png

  • 同样的,在192.168.12.88设备中修改nginx的html目录下的index.html.

image.png

  • 启动192.168.12.77和192.168.12.88的nginx。
  • 访问192.168.12.77

image.png

  • 访问192.168.12.88

image.png

  • 然后我们启动192.168.12.77、192.168.12.88的keepalived,service keepalived start

image.png

image.png

  • 启动keepalived后,我们发现两个节点输入ip a,发现都可以看到共同的虚拟ip 192.168.12.111。可是这是不合理的,正确情况下只有master角色的节点上才有虚拟ip

image.png

image.png

  • 造成这个原因的是防火墙,我们可以试着把2个节点的防火墙都关闭,命令是:service iptables stop.
  • 关闭之后,我们再在2个节点输入ip a命令。发现只有master有虚拟ip,而backup没有虚拟ip。这才是正确的。我们可以禁止iptables开机启动。命令:chkconfig iptables off.

image.png

image.png

  • 我们用虚拟ip(192.168.12.111)去访问。我们发现启动的是192.168.12.77设备的nginx,里面它的优先级是100,而192.168.12.88设备的nginx优先级是90.

image.png

  • 我们可以演示一下keepalived的高可用,我们把192.168.12.77的keepalived服务关闭,看keepalived服务器会不会自动切换到192.168.12.88的nginx为我们提供服务。

image.png

  • 我们再来访问192.168.12.111.此时我们发现是192.168.12.88的nginx为我们提供服务。

image.png

  • 我们再把192.168.12.77(master)的keepalived服务打开。

image.png

  • 我们再次访问192.168.12.111.我又发现又切换到nginx master,也就是192.168.12.77

image.png

  • 我们可以重启192.168.12.77和192.168.12.88。
  • 我们使用service keepalived status查看keepalived服务是否自动启动。结果证明自动启动了,美滋滋。

image.png

image.png

  • 我们之前不是说过了吗?nginx_check.sh脚本每隔2s就会检测是否存在nginx进程,如果该节点的nginx进程为0,会尝试重启nginx,如果重启失败的话,则抹杀keepalived进程。我们可以用192.168.12.77做一个测试。
  • 先关闭nginx,命令:/usr/local/nginx/sbin/nginx -s stop。很糟糕的事情发生了,出现了一个错误" [error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)". 很简单,这说明在/usr/local/nginx/logs/目录下面,缺少nginx.pid文件。

image.png

  • 我们只需要输入命令"/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf"即可生成nginx.pid.

image.png

  • 然后再次输入命令 /usr/local/nginx/sbin/nginx -s stop,就可以关闭nginx了,啦啦啦。

image.png

  • 接着我们进入/usr/local/nginx/conf/目录下面,修改nginx.conf文件,添加一个小错误,比如添加"cmazxiaoma is handsome"

image.png

  • 保存nginx.conf后,重新启动nginx,肯定会报错。美滋滋。

image.png

  • 最后我们查看keepalived进程,发现尼玛还有keepalived进程。

image.png

  • 我第一反应想到会不会是nginx_check.sh脚本写错了呢?我进入/etc/keepalived/目录,输入命令"sh nginx_check.sh",发现抛出“killall 未知的命令”。

image.png

  • 我摸了摸脑袋发现,我的虚拟机都是精简把,没有安装psmisc.那么我们就安装它把。yum install psmisc.
  • 安装完毕,我们再查看keepalived进程。发现keepalived进程还是存在的。

image.png

  • 我觉得nginx_check.sh没有问题,我怀疑它没有得到执行。那么我们就自己执行nginx_check.sh。执行结果如下:

image.png

  • 我们再次查看keepalived进程,发现keepalived进程都被抹杀了。这证明我的直觉没有问题,nginx_check没有得到执行。

image.png

  • 我又有一个大胆的想法,会不会是后台执行nginx_check,sh脚本时,没有权限。
  • 我们输入nohup /etc/keepalived/nginx_check.sh,提示我们没有权限。

image.png

  • 权限不够,怎么办?加呗!使用chmod 777 nginx_check.sh,使其他程序能够对nginx_check.sh进行读、写、执行。

image.png

  • 我们查看keepavlied进程,发现已被nginx_check.sh所抹杀。

image.png

  • 哈哈哈,192.168.12.77挂了,那么我们再访问192.168.12.111,nginx有没有切换到192.168.12.88的nginx。结果很让我满意!

image.png

Summary

美滋滋,Nginx高可用集群已被搞定。下一篇讲如何把Nginx高可用集群应用到FastDFS集群当中。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

Python 官方推荐的一款打包工具

原文链接:https://robots.thoughtbot.com/how-to-manage-your-python-projects-with-pipen...

37950
来自专栏IT派

Python 官方推荐的一款打包工具

在thoughtbot,我们用Ruby和Rails工作,但通常我们总是尝试使用最合适的语言或者框架来解决问题。我最近一直在探索机器学习技术,所以Python使用...

12740
来自专栏程序员互动联盟

【专业技术】Chromium浏览器的Content模块设计意图

Content 模块概述 “content”模块放在src \content里面,并使用多进程浏览器沙盒模块来呈现页面所需的核心代码。它包括所有的网络平台功能(...

31370
来自专栏Linyb极客之路

nginx简易教程

Nginx (engine x) 是一款轻量级的 Web 服务器 、反向代理服务器及电子邮件(IMAP/POP3)代理服务器。

29120
来自专栏用户2442861的专栏

Win7 U盘安装Ubuntu16.04 双系统详细教程

http://blog.sciencenet.cn/blog-3027933-956284.html

2.3K20
来自专栏陈树义

如何在IntelJ下用Maven创建一个Web项目

相信一开始做Web项目的同学都是直接把项目包放在WEB-INF/lib目录下,然后就开始做项目了。但是之后接触了一些使用了Maven进行包管理的项目,我们就不得...

28160
来自专栏北京马哥教育

Linux内核编译过程详解

前言 Linux内核是Linux操作系统的核心,也是整个Linux功能体现的核心,就如同发动机 在汽车中的重要性。内核主要功能包括进程管理、内存管理、文件管...

947100
来自专栏xingoo, 一个梦想做发明家的程序员

Redis从单机到集群,一步步教你环境部署以及使用

Redis作为缓存系统来说还是很有价值的,在大数据方向里,也是需要有缓存系统的。一般可以考虑tachyon或者redis,由于redis安装以及使用更简单,所...

57060
来自专栏Java架构沉思录

Nginx从入门到实战,一学就会!

Nginx (engine x) 是一款轻量级的Web 服务器 、反向代理服务器及电子邮件(IMAP/POP3)代理服务器。本文的作者为「静默虚空」 ,可点击文...

20020
来自专栏散尽浮华

Centos6.9下RabbitMQ集群部署记录

之前简单介绍了CentOS下单机部署RabbltMQ环境的操作记录,下面详细说下RabbitMQ集群知识,RabbitMQ是用erlang开发的,集群非常方便,...

67860

扫码关注云+社区

领取腾讯云代金券