首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Nginx + Shiro + Ehcache 实现负载均衡集群(成绩报告查询系统)

Nginx + Shiro + Ehcache 实现负载均衡集群(成绩报告查询系统)

作者头像
小柒2012
发布2018-04-16 15:15:03
1.5K0
发布2018-04-16 15:15:03
举报
文章被收录于专栏:IT笔记IT笔记

项目介绍

最近在做一款产品,对外提供学生成绩报告的查询,支付,查看以及下载等一系列功能,这里就简称成绩报告查询系统吧。

初步参赛人数十万左右,可能会存在相对高的并发同时在线,所以开发阶段就对负载均衡集群做了设计。

当然,涉及到负载均衡集群,就要考虑的Session存储的问题,由于项目本身使用了Ehcache做本地缓存,Shiro对其做了很好的封装,并且Ehcache也是支付分布式缓存同步的。所以,采用Ehcache做session存储暂且是一种实施方案。

关于Ehcache分布式缓存见:

https://cloud.tencent.com/developer/article/1095704

项目架构

Spring MVC4 + Shiro-1.3.2 + Ehcache-2.10.0

运行环境

Nginx + Tomcat7(3台) + JDK1.7

项目架构图

Ehcache分布式缓存.png

前端

前端服务器使用Nginx做负载均衡,开启Gizp压缩,并实现动静分离,所有静态文件(JS/CSS/PNG等)请求由Nginx处理。

#查询系统配置
server {
        listen       80;
        server_name  www.xxx.com  xxx.com;
        index  index.jsp index.html;
        location / {
              proxy_next_upstream http_502  http_504 error timeout invalid_header;
              proxy_pass      http://report;
        }
        location ~ .*.(css|js|png|jpg)$
        {
            proxy_pass http://report;
            proxy_cache cache;
            add_header Nginx-Cache $upstream_cache_status;#统计缓存命中
            proxy_set_header Accept-Encoding 'gzip';#强制浏览器
            expires 30d;
        }
}
upstream report {
          #ip_hash;
            server  172.16.1.120:8080 weight=1  max_fails=2 fail_timeout=30s;
            server  172.16.1.130:8080 weight=1  max_fails=2 fail_timeout=30s;
                        server  172.16.1.150:8080 weight=1  max_fails=2 fail_timeout=30s;
}

后端

后端部署3台Tomcat服务器,所有动态请求(JSP/Action等)交给Tomcat处理,同时配置Tomcat的工作模式为Nio,这里大家可以自行百度Nio工作模式的优点。

实现方式

Nginx负载均衡模式本身支持加权轮询和ip_hash的。

ip_hash

同一个用户的请求将全部分配到一台服务,当然也就不存在session共享的问题。但是可能由于请求IP的不固定性,导致单个服务负载过大;如果其中一台宕掉,用户状态也不能转移。

所以,如果是基于ip_hash的配置,Ehcache本地缓存和分布式缓存都可以实现。

加权轮询

每一个用户的每一次请求根据权重分配到不同的机器,这就涉及到了session共享的问题。打个比方,如果用户登录是后端服务器A并且保存了用户信息,但是下一次请求可能就会跳转到后端服务器B,可想而知,这时B是没有用户信息的,也就是说用户还得跳转到登录页面。

这就涉及到分布式缓存的问题了,如果实现服务器ABC之间session同步的问题,图中所示,由RMI组播方式实现Ehcache缓存的同步。所以,如果采用加权轮询必须使用分布式缓存管理session。

项目实现

applicationContext-ehcache.xml 配置:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
    xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
            http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd
            http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd
            http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.0.xsd">

    <description>Shiro EhCacheManager(单点最好使用此配置,集群下使用redisManager)</description>
    
    <!-- 缓存配置-->
    <bean id="cacheManager" class="org.springframework.cache.ehcache.EhCacheManagerFactoryBean">
        <property name="configLocation" value="classpath:cache/ehcache-rmi.xml" />
    </bean> 
    
     <!-- 缓存管理 -->
    <bean id="shiroCacheManager" class="org.apache.shiro.cache.ehcache.EhCacheManager">
        <property name="cacheManager" ref="cacheManager"/>
    </bean>
    
    <!-- 会话DAO -->
    <bean id="sessionDAO" class="org.apache.shiro.session.mgt.eis.EnterpriseCacheSessionDAO">
          <property name="cacheManager" ref="shiroCacheManager" />
    </bean> 
    
</beans>

ehcache-rmi.xml 配置:

<?xml version="1.0" encoding="UTF-8"?>
<ehcache updateCheck="false" name="defaultCache">
    <!-- 分布式缓存RMI同步(大规模集群、复杂环境慎用) -->
    <diskStore path="java.io.tmpdir" />
        
    <cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory"
        properties="peerDiscovery=automatic,multicastGroupAddress=230.0.0.1, multicastGroupPort=4446" />
    <cacheManagerPeerListenerFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory" />

    <!-- 默认缓存配置. -->
    <defaultCache maxEntriesLocalHeap="100" eternal="false" timeToIdleSeconds="300" timeToLiveSeconds="600"
        overflowToDisk="true" maxEntriesLocalDisk="100000" >
        <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
            properties="replicatePuts=false,replicateUpdatesViaCopy=false"/>
    </defaultCache>
    
    <!-- 系统缓存 -->
    <cache name="sysCache" maxEntriesLocalHeap="100" eternal="true" overflowToDisk="true">
        <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"/>
    </cache>
    
    <!-- 系统活动会话缓存 -->
    <cache name="shiro-activeSessionCache" maxEntriesLocalHeap="10000" overflowToDisk="true"
            eternal="true" timeToLiveSeconds="0" timeToIdleSeconds="0"
            diskPersistent="true" diskExpiryThreadIntervalSeconds="600">
        <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
            properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true,
                replicateUpdatesViaCopy=false, replicateRemovals=true "/>
    </cache>
        
</ehcache>

实现缺点

HCACHE的组播做得比较初级,功能只是基本实现(比如简单的一个HUB,接两台单网卡的服务器,互相之间组播同步就没问题),对一些复杂的环境(比如多台服务器,每台服务器上多地址,尤其是集群,存在一个集群地址带多个物理机,每台物理机又带多个虚拟站的子地址),就容易出现问题。

究其原因, 组播/广播转发是一个很复杂的过程. 简单的说, 一个组播缺省只能在一个网段内传输,不能跨网段。

更何况在一些云计算的环境,集群的分布往往是跨网段的,甚至是跨地域的.这时更难以依赖这种初级的组播同步。

总之,分布式集群架构,建议使用Redis或者Memcache缓存实现。

下一篇文章继续讲 基于 Nginx + Shiro + Redis 实现负载均衡集群(成绩报告查询系统升级篇)

**

声明:本文内容大体流程仅供参考,有些并未涉及到具体代码实现。**

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017-03-30,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 项目介绍
  • 项目架构
  • 运行环境
  • 项目架构图
    • 前端
      • 后端
        • 实现方式
          • ip_hash
          • 加权轮询
      • 项目实现
      • 实现缺点
      相关产品与服务
      负载均衡
      负载均衡(Cloud Load Balancer,CLB)提供安全快捷的流量分发服务,访问流量经由 CLB 可以自动分配到云中的多台后端服务器上,扩展系统的服务能力并消除单点故障。负载均衡支持亿级连接和千万级并发,可轻松应对大流量访问,满足业务需求。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档