Tomcat搭建高可用/负载均衡/动静分离的Web服务器集群

这篇文章会集中以前博客讲到的所有Nginx功能点,包括基本的负载均衡,还有动静分离技术再加上这篇文章的重点,通过Keepalived实现的HA(High Available),为什么要实现高可用呢?以前在搭建的时候只用了一台Nginx服务器,这样的话如果Nginx服务器宕机了,那么整个网站就会挂掉,所以要实现Nginx的高可用,一台挂掉还会有另一台顶上去,从而保证网站可以持续的提供服务。关于负载均衡和动静分离在前面博客中都有相关的介绍,这篇博客就不在详细提了,只会在配置文件中体现。不多说了,下面开始搭建。

拓扑环境

下面表格是这次测试需要的拓扑环境,几台服务器,每台服务器上安装什么,都有介绍。

服务器名称

系统版本

预装软件

IP地址/VIP

Nginx主服务器

CentOS 7 最小安装

Nginx +Keepalived

192.168.22.227/192.168.22.231

Nginx从服务器

CentOS 7 最小安装

Nginx +Keepalived

192.168.22.228/192.168.22.231

Web服务器A

CentOS 7 最小安装

tomcat+jdk

192.168.22.229

Web服务器B

CentOS 7 最小安装

tomcat+jdk

192.168.22.230

前置条件

Keepalived配置安装:keepalived配置高可用集群 Nginx动静分离、负载均衡:Nginx+Tomcat实现动静分离、负载均衡

原理图

开始搭建

一、配置VIP

关于VIP(即虚拟IP)的作用,上篇博客《Keepalived原理篇》已经介绍过了。227和228服务器需要配置相同的VIP,虚拟IP在某时刻只能属于某一个节点,另一个节点作为备用节点存在。当主节点不可用时,备用节点接管虚拟IP,成为主节点(即虚拟IP漂移至从节点),提供正常服务。这个VIP就像个墙头草,两头跑,谁是主他就为谁服务。配置VIP的博客,上面也有链接哦。

二、安装软件

按照上面的表格,在相应服务器上安装软件,安装过程不再多说了,有问题可以点击上面的博客链接哦。

三、配置Nginx

227服务器上的Nginx配置:

    user nobody;

    worker_processes 2;

    events{
            worker_connections 1024; 
    }

    http{
    #设置默认类型为二进制流
            default_type    application/octet-stream;

            server_names_hash_bucket_size   128;
            #指定来自客户端请求头的headerbuffer大小,设置为32KB
            client_header_buffer_size   32k;
            #指定客户端请求中较大的消息头的缓存最大数量和大小,这里是4个32KB
            large_client_header_buffers 4 32k;
            #上传文件大小
            client_max_body_size 356m;
            #nginx的HttpLog模块指定,指定nginx日志的输出格式,输出格式为access
            log_format access '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" "$http_x_forwarded_for"';
            #access日志存在未知
            access_log  /usr/local/nginx/logs/access.log    access;
            #开启高效模式文件传输模式,将tcp_nopush和tcp_nodelay两个指另设置为on,用于防止网络阻塞。
            sendfile    on;
            tcp_nopush  on;
            tcp_nodelay on;
            #设置客户端连接保持活动的超时时间
            keepalive_timeout   65;
            server_tokens   off;
            #客户端请求主体读取缓存
            client_body_buffer_size 512k;
            proxy_connect_timeout   5;
            proxy_send_timeout      60;
            proxy_read_timeout      5;
            proxy_buffer_size       16k;
            proxy_buffers           4 64k;
            proxy_busy_buffers_size 128k;
            proxy_temp_file_write_size 128k;

            #fastcgi_connect_timeout 300;
            #fastcgi_send_timeout   300;
            #fastcgi_read_timeout   300;
            #fastcgi_buffer_timeout 300;
            #fastcgi_buffers 4 64k;
            #fastcgi_busy_buffers_size 128k;
            #fastcgi_temp_file_write_size 128k;

            #开启gzip
            gzip    on;
            #允许压缩的最小字节数
            gzip_min_length 1k;
            #4个单位为16k的内存作为压缩结果流缓存
            gzip_buffers 4 16k;
            #设置识别HTTP协议版本,默认是1.1
            gzip_http_version 1.1;
            #gzip压缩比,可在1~9中设置,1压缩比最小,速度最快,9压缩比最大,速度最慢,消耗CPU
            gzip_comp_level 2;
            #压缩的类型
            gzip_types text/plain application/x-javascript text/css application/xml;
            #让前端的缓存服务器混村经过的gzip压缩的页面
            gzip_vary   on;

            upstream mycluster{
                     server 192.168.22.229:8080 weight=1;
                     server 192.168.22.230:8080 weight=1;
                    }

            server{
                    listen 8088;
                    server_name 192.168.22.227;
                    charset    utf-8; #设置编码为utf-8
                    #root   html;

            #location / {
            #    root   html;
            #    index  index.html index.htm;
            #}

            #location ~ .*\.(jsp|do|action)$
            location / {
                    proxy_next_upstream http_502 http_504 error timeout invalid_header;
                    proxy_pass http://mycluster;
                    # 真实的客户端IP
                    proxy_set_header   X-Real-IP        $remote_addr; 
                    # 请求头中Host信息
                    proxy_set_header   Host             $host; 
                    # 代理路由信息,此处取IP有安全隐患
                    proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
                    # 真实的用户访问协议
                    proxy_set_header   X-Forwarded-Proto $scheme;
            }
            #静态文件交给nginx处理
            location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
            {
                    root /usr/local/webapps;
                    expires 30d;
            }
            #静态文件交给nginx处理
            location ~ .*\.(js|css)?$
            {
                    root /usr/local/webapps;
                    expires 1h;
            }
            error_page   500 502 503 504  /50x.html;  

            location = /50x.html {
                root   html;
            }

            }
    }

228服务器上的Nginx配置:

    user nobody;

    worker_processes 2;

    events{
            worker_connections 1024; 
    }

    http{
    #设置默认类型为二进制流
            default_type    application/octet-stream;

            server_names_hash_bucket_size   128;
            #指定来自客户端请求头的headerbuffer大小,设置为32KB
            client_header_buffer_size   32k;
            #指定客户端请求中较大的消息头的缓存最大数量和大小,这里是4个32KB
            large_client_header_buffers 4 32k;
            #上传文件大小
            client_max_body_size 356m;
            #nginx的HttpLog模块指定,指定nginx日志的输出格式,输出格式为access
            log_format access '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" "$http_x_forwarded_for"';
            #access日志存在未知
            access_log  /usr/local/nginx/logs/access.log    access;
            #开启高效模式文件传输模式,将tcp_nopush和tcp_nodelay两个指另设置为on,用于防止网络阻塞。
            sendfile    on;
            tcp_nopush  on;
            tcp_nodelay on;
            #设置客户端连接保持活动的超时时间
            keepalive_timeout   65;
            server_tokens   off;
            #客户端请求主体读取缓存
            client_body_buffer_size 512k;
            proxy_connect_timeout   5;
            proxy_send_timeout      60;
            proxy_read_timeout      5;
            proxy_buffer_size       16k;
            proxy_buffers           4 64k;
            proxy_busy_buffers_size 128k;
            proxy_temp_file_write_size 128k;

            #fastcgi_connect_timeout 300;
            #fastcgi_send_timeout   300;
            #fastcgi_read_timeout   300;
            #fastcgi_buffer_timeout 300;
            #fastcgi_buffers 4 64k;
            #fastcgi_busy_buffers_size 128k;
            #fastcgi_temp_file_write_size 128k;

            #开启gzip
            gzip    on;
            #允许压缩的最小字节数
            gzip_min_length 1k;
            #4个单位为16k的内存作为压缩结果流缓存
            gzip_buffers 4 16k;
            #设置识别HTTP协议版本,默认是1.1
            gzip_http_version 1.1;
            #gzip压缩比,可在1~9中设置,1压缩比最小,速度最快,9压缩比最大,速度最慢,消耗CPU
            gzip_comp_level 2;
            #压缩的类型
            gzip_types text/plain application/x-javascript text/css application/xml;
            #让前端的缓存服务器混村经过的gzip压缩的页面
            gzip_vary   on;

            upstream mycluster{
                     server 192.168.22.229:8080 weight=1;
                     server 192.168.22.230:8080 weight=1;
                    }

            server{
                    listen 8088;
                    server_name 192.168.22.228;
                    charset    utf-8; #设置编码为utf-8
                    #root   html;

            #location / {
            #    root   html;
            #    index  index.html index.htm;
            #}

            #location ~ .*\.(jsp|do|action)$
            location / {
                    proxy_next_upstream http_502 http_504 error timeout invalid_header;
                    proxy_pass http://mycluster;
                    # 真实的客户端IP
                    proxy_set_header   X-Real-IP        $remote_addr; 
                    # 请求头中Host信息
                    proxy_set_header   Host             $host; 
                    # 代理路由信息,此处取IP有安全隐患
                    proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
                    # 真实的用户访问协议
                    proxy_set_header   X-Forwarded-Proto $scheme;
            }
            #静态文件交给nginx处理
            location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$
            {
                    root /usr/local/webapps;
                    expires 30d;
            }
            #静态文件交给nginx处理
            location ~ .*\.(js|css)?$
            {
                    root /usr/local/webapps;
                    expires 1h;
            }
            error_page   500 502 503 504  /50x.html;  

            location = /50x.html {
                root   html;
            }

            }
    }

另外还需要在227,228服务器上新建一个目录/usr/local/webapps/drp/img,在img文件夹中存放图片girl.jpg。如果Nginx服务器较多的话,可以使用Rsync做服务端自动同步或者使用NFS、MFS分布式共享存储,避免一个个拷贝文件。

还有,这块Nginx配置是做过一些优化的,比如开启gzip压缩,开启高效文件传输模式,设置缓存,动静分离,负载均衡等,可以直接拿到项目中使用。

四、配置Keepalived

227服务器上的Keepalived配置:

! Configuration File for keepalived

    #配置邮件相关信息
    global_defs {
       notification_email {
         acassen@firewall.loc
         failover@firewall.loc
         sysadmin@firewall.loc
       }
       notification_email_from Alexandre.Cassen@firewall.loc
       smtp_server 192.168.200.1
       smtp_connect_timeout 30
       router_id LVS_DEVEL
    }

    #配置Nginx健康监测脚本
    vrrp_script check_nginx {
            script "</dev/tcp/127.0.0.1/8088"
            interval 3
            weight -2
    }

    vrrp_instance VI_1 {
        state MASTER
      #网卡名称
        interface eno16777736
        virtual_router_id 151
        priority 100
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }

            track_script {
                    check_nginx
            }

        virtual_ipaddress {
            192.168.22.231
        }
    }

228服务器上的Keepalived配置:

    ! Configuration File for keepalived

    global_defs {
       notification_email {
         acassen@firewall.loc
         failover@firewall.loc
         sysadmin@firewall.loc
       }
       notification_email_from Alexandre.Cassen@firewall.loc
       smtp_server 192.168.200.1
       smtp_connect_timeout 30
       router_id LVS_DEVEL
    }

    vrrp_script check_nginx {
            #script "/opt/chknginx.sh"
            script "</dev/tcp/127.0.0.1/8088"
            interval 3
            weight -2
    }

    vrrp_instance VI_1 {
        state MASTER
        interface eno16777736
        virtual_router_id 151
        priority 99
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }

            track_script {
                    check_nginx
            }

        virtual_ipaddress {
            192.168.22.231
        }
    }

特别注意,Nginx健康监测脚本。在本地写一个shell脚本,Keepalived监测不到。不知道为什么,网上的博客都是这么写的。但是在我这里就不行。最后直接在Keepalived配置文件的script标签中写了这段监测的脚本,才得以成功。

    vrrp_script chk_http_port {
    script "</dev/tcp/192.168.22.227/80"
    interval 1
    weight -10
    }

里面针对每条配置文件都做了详细解析。

五、Tomcat配置

229服务器,添加默认页

在Tomcat的webapps目录下新建文件夹drp,并且创建index.jsp页面

        <%@ page language="java" contentType="text/html; charset=GB18030"
                pageEncoding="GB18030"%>

        <HTML>
        <head>
        <meta http-equiv="Content-Type" content="text/html; charset=GB18030">
        <title>Nginx+Keepalived高可用,负载均衡,动静分离测试</title>
        </head>

                <body>
                        <h1>您正在访问服务器:192.168.22.229</h1>
                        <img src="/drp/img/girl.jpg"  alt="女孩" />
                </body>

        </html>

230服务器同上

六、启动服务并测试

分别启动各个服务器上的Nginx、Keepalived、Tomcat,并测试能否正常访问。

①启动测试Tomcat

可以看到229和230服务器上的Tomcat已经可以正常访问,图片没有加载出来,是因为图片没有在Tomcat服务器上存储,而放在了Nginx上。

②启动测试Nginx

可以看到227和228上的Nginx启动成功,并且实现了负载均衡和动静分离的效果,图片被成功的加载了出来。

③ 保证所有服务均可正常访问后,启动Keepalived测试。

启动227,228服务器上的Keepalived,在浏览器中输入地址:http://192.168.22.231:8088/drp/index.jsp

192.168.22.231是咱们设置的虚拟ip,在访问网站的时候不在通过Nginx的ip了,而要通过这个vip进行访问。

Keepalived启动后咱们可以通过查看/var/log 下的messages文件(日志文件),查看主从状态。 查看227服务器/var/log/messages:

可以看到227为Master服务器,那么咱们现在通过192.168.22.231访问的就是227上的Nginx。

Nginx高可用测试

现在咱们通过两个方面来测试高可用:

① 服务器层的双机热备,模拟方式为关闭服务器,或者关闭Keepalived。

a. 关闭227Keepalived进程

现在提供服务的是227服务器,使用命令service keepalived stop将227上的Keepalived进程关闭掉之后。

查看227服务器messas日志:

228原来为从服务器,当227服务器宕机后,228服务器由从服务器升级为主服务器,并且绑定上192.168.22.231这个虚拟IP,以继续提供服务,网站能够继续访问。

b. 启动227Keepalived

查看227服务器messas日志:

Keepalived成功启动后,227服务器继续接管192.168.22.231,成为MASTER服务器,继续提供服务。

查看228服务器messages日志:

相应的228服务器,转变为BACKUP服务器,并且移除VIP。

② 应用层的双机热备,模拟方式为Kill掉Nginx进程

a. 关闭227Nginx

查看227服务器messages日志:

VRRP_Script(check_nginx) failed ,意思是健康监测脚本执行失败,表明Nginx服务坏掉,或者没有启动。然后Keepalived会使227服务器转变为BACKUP状态,移除VIP。

查看228服务器messages日志:

当然不出所料,228服务器已经变为MASTER状态,从而继续提供服务。

b. 重新启动227Nginx

查看227服务器messages日志:

VRRP_Script(check_nginx) succeeded ,意思是健康监测脚本执行成功,Nginx正常运行。然后227服务器就会转变为MASTER状态,并提供服务。

查看228服务器messages日志:

228服务器已经变为BUCKUP状态。

小结 至此,高可用的一系列测试就已经完成了。在整个测试过程中,无论是关闭某台服务器的Nginx,Keepalived还是整个服务器宕机,网站一直没有中断提供服务,这已经达到了基本的高可用;但是还有个缺陷就是如果Nginx主服务器不出问题的话,那么备用服务器将长期处于备份状态,这样的巨大资源浪费是不能容忍的。

当然这也有相应的方案来解决:Nginx双主集群+DNS轮询。

这就是一个架构不断演变,进化的过程!!!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java达人

深入解析Java中Flushable接口的flush方法

今天写这篇文章是为了纪念同事讲得两句话:1、flush =在后面对out使劲的抽一鞭子,并命令“赶紧给我写入,我的水桶太满了”;2、写入数据量不大时,可以考虑不...

38780
来自专栏木头编程 - moTzxx

VMWare14 安装Mac OS系统(图解)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u011415782/article/de...

2.3K30
来自专栏PHP在线

在Mac下使用MAMP Pro环境

以前,我使用Windows作为自己的工作系统,后来,改用Mac作为自己的主要工作系统了。 在Windows下,快速搭建*AMP环境,使用xampp或者WAMP之...

80370
来自专栏java一日一条

数据库的读写分离

读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务...

11230
来自专栏运维一切

ceph基础运维操作 原

保存退出 开始安装ceph Yum install ceph –y 完毕之后初始化目录

16120
来自专栏北京马哥教育

Nginx区分PC或手机访问不同网站

近几年来,随着手机和pad的普及,越来越多的用户选择使用移动客户端访问网站,而为了获取更好的用户体验,就需要针对不同的设备显示出最合适的匹配,...

1.7K90
来自专栏后台及大数据开发

Linux巩固记录(9) keepalived+nginx搭建高可用负载分发环境

web 192.168.2.100 再iis上启动了9011/9012/9013三个端口的web应用

10810
来自专栏容器云生态

keepalived+haproxy构建高可用负载均衡集群

Keepalived+haproxy构建web高可用负载均衡系统 本章将使用keepalived做为高可用集群调度用户请求,并且检测haproxy负载均衡器...

61070
来自专栏同步博客

搭建MySQL高可用负载均衡集群

  使用MySQL时随着时间的增长,用户量以及数据量的逐渐增加,访问量更是剧增,最终将会使MySQL达到某个瓶颈,那么MySQL的性能将会大大降低。这一结果也不...

41960
来自专栏Linux运维学习之路

zabbix自动发现与自动注册及SNMP监控

自动发现与自动注册 自动发现:zabbix Server主动发现所有客户端,然后将客户端登记自己的小本本上,缺点zabbix server压力山大(网段大,客户...

91280

扫码关注云+社区

领取腾讯云代金券