Nginx + Shiro + Ehcache 实现负载均衡集群(成绩报告查询系统)

项目介绍

最近在做一款产品,对外提供学生成绩报告的查询,支付,查看以及下载等一系列功能,这里就简称成绩报告查询系统吧。

初步参赛人数十万左右,可能会存在相对高的并发同时在线,所以开发阶段就对负载均衡集群做了设计。

当然,涉及到负载均衡集群,就要考虑的Session存储的问题,由于项目本身使用了Ehcache做本地缓存,Shiro对其做了很好的封装,并且Ehcache也是支付分布式缓存同步的。所以,采用Ehcache做session存储暂且是一种实施方案。

关于Ehcache分布式缓存见: https://blog.52itstyle.com/archives/568/

项目架构

Spring MVC4 + Shiro-1.3.2 + Ehcache-2.10.0

运行环境

Nginx + Tomcat7(3台) + JDK1.7

项目架构图

Ehcache分布式缓存.png

前端

前端服务器使用Nginx做负载均衡,开启Gizp压缩,并实现动静分离,所有静态文件(JS/CSS/PNG等)请求由Nginx处理。

#查询系统配置
server {
        listen       80;
        server_name  www.xxx.com  xxx.com;
        index  index.jsp index.html;
        location / {
              proxy_next_upstream http_502  http_504 error timeout invalid_header;
              proxy_pass      http://report;
        }
        location ~ .*.(css|js|png|jpg)$
        {
            proxy_pass http://report;
            proxy_cache cache;
            add_header Nginx-Cache $upstream_cache_status;#统计缓存命中
            proxy_set_header Accept-Encoding 'gzip';#强制浏览器
            expires 30d;
        }
}
upstream report {
          #ip_hash;
            server  172.16.1.120:8080 weight=1  max_fails=2 fail_timeout=30s;
            server  172.16.1.130:8080 weight=1  max_fails=2 fail_timeout=30s;
                        server  172.16.1.150:8080 weight=1  max_fails=2 fail_timeout=30s;
}

后端

后端部署3台Tomcat服务器,所有动态请求(JSP/Action等)交给Tomcat处理,同时配置Tomcat的工作模式为Nio,这里大家可以自行百度Nio工作模式的优点。

实现方式

Nginx负载均衡模式本身支持加权轮询和ip_hash的。

ip_hash

同一个用户的请求将全部分配到一台服务,当然也就不存在session共享的问题。但是可能由于请求IP的不固定性,导致单个服务负载过大;如果其中一台宕掉,用户状态也不能转移。

所以,如果是基于ip_hash的配置,Ehcache本地缓存和分布式缓存都可以实现。

加权轮询

每一个用户的每一次请求根据权重分配到不同的机器,这就涉及到了session共享的问题。打个比方,如果用户登录是后端服务器A并且保存了用户信息,但是下一次请求可能就会跳转到后端服务器B,可想而知,这时B是没有用户信息的,也就是说用户还得跳转到登录页面。

这就涉及到分布式缓存的问题了,如果实现服务器ABC之间session同步的问题,图中所示,由RMI组播方式实现Ehcache缓存的同步。所以,如果采用加权轮询必须使用分布式缓存管理session。

项目实现

applicationContext-ehcache.xml 配置:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context"
    xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd
            http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd
            http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd
            http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.0.xsd">

    <description>Shiro EhCacheManager(单点最好使用此配置,集群下使用redisManager)</description>
    
    <!-- 缓存配置-->
    <bean id="cacheManager" class="org.springframework.cache.ehcache.EhCacheManagerFactoryBean">
        <property name="configLocation" value="classpath:cache/ehcache-rmi.xml" />
    </bean> 
    
     <!-- 缓存管理 -->
    <bean id="shiroCacheManager" class="org.apache.shiro.cache.ehcache.EhCacheManager">
        <property name="cacheManager" ref="cacheManager"/>
    </bean>
    
    <!-- 会话DAO -->
    <bean id="sessionDAO" class="org.apache.shiro.session.mgt.eis.EnterpriseCacheSessionDAO">
          <property name="cacheManager" ref="shiroCacheManager" />
    </bean> 
    
</beans>

ehcache-rmi.xml 配置:

<?xml version="1.0" encoding="UTF-8"?>
<ehcache updateCheck="false" name="defaultCache">
    <!-- 分布式缓存RMI同步(大规模集群、复杂环境慎用) -->
    <diskStore path="java.io.tmpdir" />
        
    <cacheManagerPeerProviderFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory"
        properties="peerDiscovery=automatic,multicastGroupAddress=230.0.0.1, multicastGroupPort=4446" />
    <cacheManagerPeerListenerFactory class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory" />

    <!-- 默认缓存配置. -->
    <defaultCache maxEntriesLocalHeap="100" eternal="false" timeToIdleSeconds="300" timeToLiveSeconds="600"
        overflowToDisk="true" maxEntriesLocalDisk="100000" >
        <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
            properties="replicatePuts=false,replicateUpdatesViaCopy=false"/>
    </defaultCache>
    
    <!-- 系统缓存 -->
    <cache name="sysCache" maxEntriesLocalHeap="100" eternal="true" overflowToDisk="true">
        <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"/>
    </cache>
    
    <!-- 系统活动会话缓存 -->
    <cache name="shiro-activeSessionCache" maxEntriesLocalHeap="10000" overflowToDisk="true"
            eternal="true" timeToLiveSeconds="0" timeToIdleSeconds="0"
            diskPersistent="true" diskExpiryThreadIntervalSeconds="600">
        <cacheEventListenerFactory class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
            properties="replicateAsynchronously=true, replicatePuts=true, replicateUpdates=true,
                replicateUpdatesViaCopy=false, replicateRemovals=true "/>
    </cache>
        
</ehcache>

实现缺点

HCACHE的组播做得比较初级,功能只是基本实现(比如简单的一个HUB,接两台单网卡的服务器,互相之间组播同步就没问题),对一些复杂的环境(比如多台服务器,每台服务器上多地址,尤其是集群,存在一个集群地址带多个物理机,每台物理机又带多个虚拟站的子地址),就容易出现问题。

究其原因, 组播/广播转发是一个很复杂的过程. 简单的说, 一个组播缺省只能在一个网段内传输,不能跨网段。

更何况在一些云计算的环境,集群的分布往往是跨网段的,甚至是跨地域的.这时更难以依赖这种初级的组播同步。

总之,分布式集群架构,建议使用Redis或者Memcache缓存实现。

下一篇文章继续讲 基于 Nginx + Shiro + Redis 实现负载均衡集群(成绩报告查询系统升级篇)

** 声明:本文内容大体流程仅供参考,有些并未涉及到具体代码实现。**

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏逸鹏说道

【开源】简单4步搞定QQ登录,无需什么代码功底 下 ~ Net程序员的福利

【开源】简单4步搞定QQ登录,无需什么代码功底【无语言界限】下 ~ Net程序员的福利 上一节我们通过通用封装说了下QQ登录的申请和通用讲解,【开源】简单4步搞...

30160
来自专栏逸鹏说道

网站就必须用响应式布局吗?MVC视图展现模式之移动布局

本文先引入给读者一个自己研究的机会,下次深入说明一下: 废话不多说,直接上图 新建一个mvc的项目 ? ? ? 在视图里面添加一个移动端视图 ? ? 正常访问一...

32150
来自专栏逸鹏说道

Win10 IIS本地部署MVC网站时不能运行?

网站部署之~Windows Server | 本地部署 一、服务器系: 1.初始Windows Server 2012 R2 Hyper-V + 系统安装详细 ...

43790
来自专栏逸鹏说道

昨天有老同学问我怎么在Windows Server2012 R2里面部署 MVC 的网站

网站部署之~Windows Server | 本地部署 一、服务器系: 1.初始Windows Server 2012 R2 Hyper-V + 系统安装详细 ...

36270
来自专栏逸鹏说道

MVC视图展现模式之移动布局解析-续集

网站就必须用响应式布局吗?MVC视图展现模式之移动布局:http://www.cnblogs.com/dunitian/p/5213787.html 有人会疑问...

27980
来自专栏逸鹏说道

MVC5 Entity Framework学习之异步和存储过程

在之前的文章中,你已经学习了如何使用同步编程模型来读取和更新数据,在本节中你将学习如何实现异步编程模型。异步可以使应用程序执行更有效率,因为它可以更有效的使用服...

39990
来自专栏安恒信息

预警 | Struts2 REST插件存在远程代码执行漏洞(CVE-2017-9805)

漏洞描述 Struts2 是 Apache 软件基金会负责维护的一个基于MVC设计模式的 Web 应用框架开源项目。 Struts2的REST插件使用带有XSt...

402140
来自专栏逸鹏说道

jenkins配置.net mvc网站

jenkins配置.net mvc网站 上一篇使用jenkins配置.net mvc网站进行持续集成一只是简单介绍了jenkins构建站点到本地服务器,这一篇,...

43260
来自专栏逸鹏说道

MVC在添加控制器的时候发现没有添加的选项了?肿么办?

因为马上要出去,先上几个关键图简单说一下,有什么不清楚的可以直接留言 ? nuget包 ? 安装mvc ? 收工 ?

34460
来自专栏逸鹏说道

在 ASP.NET MVC 中使用异步控制器

可以通过 AsyncController 类编写异步操作方法。 可以对长时间运行的、非 CPU 绑定的请求使用异步操作方法。 这样可避免在处理请求时阻塞 Web...

399110

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励