企业网站架构之Nginx+tomcat+memcached集群

nginx+tomcat+memcached应用

系统环境:RHEL6.4  x64   iptables -F   and selinux is disabled

主机角色:node1 :192.168.0.24 :lnmp环境 tomcat memcached

         node2 :192.168.0.99 : tomcat memcached

软件下载:在lnmp环境上测试tomcat,使用nginx简单发布jsp

 jdk-6u32-linux-x64.bin apache-tomcat-7.0.37.tar.gz

https://code.google.com/memcached-session-manager        memcached的session管理

   Nginx(lnmp)

  /         \

<T1>       <T2>

;    \    /      ;

;      \/        ;      

;      /\        ;

;    /    \      ;

<M1>       <M2>

Tomcat1将session存储在memcacted2上.tomcat和Memcached使用交叉存储,只有当M2不可用时T1才将数据存储在M1上(M1是T1的failoverNode),使用这种方式可以避免单点故障.从而实现应用的高可用性.

注意:两台node上的tomcat应用完全一致

1.在两台node主机上配置tomcat环境

#sh jdk-6u32-linux-x64.bin
# mv jdk1.6.0_32/ /usr/local/lnmp/jdk
这个不是必须的,看自己的习惯哦
#vim /etc/profile              编写环境变量
 export JAVA_HOME=/usr/local/lnmp/jdk
 export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
 export PATH=$PATH:$JAVA_HOME/bin
#source /etc/profile
#which javac
#which java
#vim test.java
 public class test{
public static void main(String[] args)
{System.out.println("Hello!");  }
 }
#javac test.java          编译
#java test                   执行后出现Hello!说名java环境配置好

安装tomcat服务器

#tar zxf apache-tomcat-7.0.37.tar.gz      解压就能用,不需要编译
#mv apache-tomcat-7.0.37 tomcat
#/root/tomcat/webapps/ROOT                          tomcat的默认发布目录
#/root/tomcat/bin/startup.sh(shutdown.sh)       tomcat默认的启动和关闭脚本

tomcat默认开启8080端口,

测试http://192.168.0.24:8080   访问到tomcat默认的测试页

#cd tomcat/webapps/ROOT            自写测试页

#vim test.jsp

this time is: <%=new java.util.Date()%>

测试访问;http://192.168.0.24:8080   显示当前时间

tomcat访问每次得8080端口,使用nginx反向代理一下。

使用nginx发布jsp动态网页:

修改nginx配置文件:vim /usr/local/lnmp/nginx/conf/nginx.conf

location ~ \.jsp$ {
proxy_pass http://127.0.0.1:8080;
 }
nginx -t && nginx -s reload

访问:http://192.168.0.24/test.jsp

同步两台tomcat的内容

#scp tomcat/ jdk/ 192.168.0.99:

修改java环境变量/etc/profile

启动tomcat服务,并且编写可以识别的脚本

测试:http://192.168.0.99:8080/test.jsp

两台node(tomcat)准备好了

2.在node1上的nginx环境中发布网页

使用nginx的负载均衡功能,

在http块中加

upstream linux {
server 192.168.0.24:8080;
server 192.168.0.99:8080;
}
location ~ \.jsp$ {
proxy_pass http://linux;
}
nginx -t && nginx -s reload   

测试:http://lnmp.xxb.com/test.jsp      实现两台主机的负载均衡

lnmp.xxb.com对应的是nginx的(24)主机

问题:在后台实现了nginx的负载均衡,但是当一个用户刷新数据时,数据总是变化的,试想,在动态页面,如果用户提交数据刷新后会换成另外一个空面,这样会造成一定的损失

解决:给nginx增加一个sticky模块.(需要重新编译nginx)

重新在nginx在进行模块化编译:

download:nginx-sticky-modules.tar.gz(解压就行)
#cd nginx-1.4.2/
# ./configure --prefix=/usr/local/lnmp/nginx --with-http_ssl_module --with-http_stub_status_module --add-module=/root/nginx-sticky-module-1.0  
#make && make install
vim nginx.conf
 upstream linux {
 sticky;
装了nginx-sticky后的功能
 server 192.168.0.99:8080 ;
 server 192.168.0.24:8080 ;
 }

测试:http://lnmp.xxb.com/test.jsp 后发现刷新不会来回负载(每个用户看到的其实不是一个tomcat上的数据,但是对用户是透明的)

3.nginx负载tomcat的jsp时,需要解决session共享:

使用memcache进行缓存(用户)后端数据,但是又要想到解决单点故障问题,因而可以采用两台memcache作为后端负载.

memcached 11211 后端使用交叉试存储(tomcat会将session同步,session自动寻找存储的memcached,但是默认是交叉存储,当m坏掉,tomcat都会存到存活的m上)

只要tomcat不会宕掉,一切数据都还ok

但是当memcached宕掉,tomcat会向存活的mem上存取

session 的序列化方案官方推荐的有 4 种:

1. java serialization

2. msm-kryo-serializer

3. msm-javolution-serializer

4. msm-xstream-serializer

其中性能最好的数Kryo,我们使用kryo来做session

mecached服务器node1 and node2

#yum install memcached -y
#/etc/init.d/memcached restart
memcached默认开启11211端口
测试访问:telnet localhost 11211
stats                   查看状态
set user 0 0 3    存储新值(add replace)
get user             获取值
配置两台memcached服务器(tomcat),下载jar包(必须支持相关的java程序)
kryo-1.03.jar
kryo-serializers-0.8.jar
memcached-2.5.jar
memcached-session-manager-1.5.1.jar
memcached-session-manager-tc7-1.5.1.jar
minlog-1.2.jar
msm-kryo-serializer-1.5.1.jar
reflectasm-0.9.jar
node1 and node2 同步的内容哦
#cd tomcat/lib/
#mget jar/*    下载tomcat的session共享管理
#cd tomcat/conf/
# vim context.xml  
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:192.168.0.24:11211,n2:192.168.0.99:11211"
failoverNodes="n1"       失败时存到n1,正常时交互存储;tomcat2需要变n2
requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$" transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
/>
#tomcat/bin/.sthudown.sh 关闭tomcat后重启,以识别memcached-session-manager
# tail -f logs/catalina.out    默认日志
INFO: MemcachedSessionService finished initialization, sticky true, operation timeout 1000, with node ids [n2] and failover node ids [n1]

正常启动

编辑测试文件:

(动态效果的jsp网页)

# vim tomcat/webapps/ROOT/test.jsp             提交用户信息的测试页
<%@ page contentType="text/html; charset=GBK" %>
<%@ page import="java.util.*" %>
<html><head><title>Cluster App Test</title></head>
<body>
Server Info:
<%
out.println(request.getLocalAddr() + " : " + request.getLocalPort()+"<br>");%>
<%
out.println("<br> ID " + session.getId()+"<br>");
String dataName = request.getParameter("dataName");
if (dataName != null && dataName.length() > 0) {
String dataValue = request.getParameter("dataValue");
session.setAttribute(dataName, dataValue);
}
out.print("<b>Session list</b>");
Enumeration e = session.getAttributeNames();
while (e.hasMoreElements()) {
String name = (String)e.nextElement();
String value = session.getAttribute(name).toString();
out.println( name + " = " + value+"<br>");
System.out.println( name + " = " + value);
}
%>
<form action="test.jsp" method="POST">
name:<input type=text size=20 name="dataName">
<br>
key:<input type=text size=20 name="dataValue">
<br>
<input type=submit>
</form>
</body>
</html>

session共享完成:两台tomcat和memcached机子做相同的配置(jdk,memcache,tomcat)

测试:

http://lnmp.xxb.com/test.jsp     使用一台tomcat和另外一台的memcached进行session共享

当任何一台tomcat或者memcached挂了都无所谓

session会记录并且保持用户的数据信息

图1:

访问node1数据默认存在node2的memcached上,但是node1上能看见数据

图2

可以看见,当访问node1的时候默认放数据是在node2上的

图3:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏跟着阿笨一起玩NET

asp.net中使用swfupload上传大文件

转载:http://www.cnblogs.com/niunan/archive/2012/01/12/2320705.html

1024
来自专栏玄魂工作室

如何学python 第十九课 文件操作

今天我们来说说文件操作。文件操作在程序编写里有着举足轻重的作用。文件操作,主要包含文件的输入和输出。学会了文件操作,就可以写出更符合实际需求的脚本。 我会先介绍...

36911
来自专栏FreeBuf

手把手教你编写一个简单的PHP模块形态的后门

看到Freebuf 小编发表的用这个隐藏于PHP模块中的rootkit,就能持久接管服务器文章,很感兴趣,苦无作者没留下PoC,自己研究一番,有了此文 0x00...

4125
来自专栏张戈的专栏

WP Super Cache静态缓存插件纯代码版(兼容多域名网站)

中午,小熊发来一篇来自歧路亡羊博客的精彩教程:《wordpress 利用代码来实现缓存》。粗略看了一下,发现这个代码在几个月之前我就用过,不过由于此代码无法区分...

4917
来自专栏c#开发者

消息队列(Message Queue)简介及其使用

消息队列(Message Queue)简介及其使用 利用 MSMQ(Microsoft Message Queue),应用程序开发人员可以通过发送和接收消息方...

4798
来自专栏Java帮帮-微信公众号-技术文章全总结

集群间如何实现session共享【面试+工作】

3K8
来自专栏IT技术精选文摘

文件句柄与文件描述符

1.概述 在实际工作中会经常遇到一些bug,有些就需要用到文件句柄,文件描述符等概念,比如报错: too many open files, 如果你对相关知识一无...

5166
来自专栏积累沉淀

Java程序员面试题集(86-115)

Java程序员面试题集(86-115) 摘要:下面的内容包括Struts 2和Hibernate的常见面试题,虽然Struts 2在2013年6月曝出高危漏...

2627
来自专栏IT米粉

你应该学会的接口调试神器——Postman高级用法

入门级功能,但是被很多人忽略。postman左侧有个collections的tab,可以将接口进行分组,而且可以将分组以后的接口进行批量的执行,是一个非常赞的功...

60410
来自专栏PhpZendo

PHP 文件系统完全指南

今天我们将开启一个新的探索旅程,深入到 PHP 文件系统中,系统的学习和掌握 PHP 文件系统的基本使用。

1723

扫码关注云+社区

领取腾讯云代金券