高并发技术

# ipvs内核模块
yum install ipvsadm -y

# 管理集群服务
#添加：
-A -t|u|f service-address [-s scheduler]
	-t: TCP协议的集群 
	-u: UDP协议的集群
	service-address:     IP:PORT
	-f: FWM: 防火墙标记 
	service-address: Mark Number
#修改：-E
#删除：
-D -t|u|f service-address

eg: 
ipvsadm -A -t 192.168.9.100:80 -s rr

#添加：
-a -t|u|f service-address -r server-address [-g|i|m] [-w weight]
	-t|u|f service-address：事先定义好的某集群服务
	-r server-address: 某RS的地址，在NAT模型中，可使用IP：PORT实现端口映射；
		[-g|i|m]: LVS类型	
		-g: DR
		-i: TUN
		-m: NAT
		[-w weight]: 定义服务器权重
#修改：-e
#删除：
-d -t|u|f service-address -r server-address
#eg:
 ipvsadm -a -t 172.16.100.1:80 -r 192.168.10.8 –g
 ipvsadm -a -t 172.16.100.1:80 -r 192.168.10.9 -g

#查看
-L|l
-n: 数字格式显示主机地址和端口
	--stats：统计数据
	--rate: 速率
	--timeout: 显示tcp、tcpfin和udp的会话超时时长
-:c 显示当前的ipvs连接状况

#删除所有集群服务
-C：清空ipvs规则
-S: 保存规则
-R : 载入此前的规则
#eg:
 ipvsadm -S > /path/to/somefile
 ipvsadm -R < /path/form/somefile

# 1.清除上个实验lvs的配置(node1)
ipvsadm -C

# 2.查看相关配置是否清除完毕
ipvsadm -in

# 3. 关闭上个实验node1中vip的设置
ifconfig 
ifconfig eth0:2 down

# 4.打开node4, 可以不用安装ipvsadm -lnc ,安装 Keepalived ,keepalived（ipvsadm，自身高可用）
# 配置RS的步骤还和上次实验一致
yum install -y  keepalived ipvsadm 
yum install -y ipvsadm   # 这里安装 ipvsadm不是用来配置而是用来查看内核相关接口情况

# 5.在node1中安装Keepalived 
yum install -y  keepalived

# 6. 修改配置文件(建议备份一下)
cd /etc/keepalived
# 帮助手册
man keepalived.conf
cp keepalived.conf  keepalived.conf.bak
vim keepalived.conf    
# 修改内容在下一个代码块


# 7. 远程复制(从 node1复制到node4 ,图1)
scp ./keepalived.conf root@192.168.179.143:`pwd`
# 修改node4的角色状态并降低权重
vrrp_instance VI_1 {
    state BACKUP        #MASTER 主和从 
    priority 50      #优先级 主的优先级要高
}


# 8. 启动Keepalived(node1,node4)
service keepalived start
# 查看日志
tail /var/log/messages 


# 9. 测试
# a.查看通过keepalived配置的lvs是否生效(如图2)
ipvsadm -ln   # 对主备都进行查看
# 访问 node1的vip,刷新浏览器,看轮询算法是否生效(图3)

# b.模拟主lvs宕机 ,将node1网卡关闭 ,使node1与外界失联, 访问浏览器,查看轮询算法是否有异常(无异常:模拟用户对异常的无感知)
ifconfig eth0 down
# 模拟运维修复主lvs异常 ,在虚拟机中将网卡启动 ,查看虚拟接口 eth0:3是否从备机自动分配到了主机
ifconfig eth0 up

# c.关闭启动一个real server(node2/node3) ,查看keepalived是否将宕掉的real剔除(keepalived不仅对准备做健康检查还会对realserver做健康检查)
service httpd stop  # 测试完毕后重启服务
ipvsadm -ln        # 对主备都进行查看

# d.模拟keepalived软件异常退出(在node1中执行)
ps -ef | grep keep   # 定位keepalived的所有端口号
kill  -9 端口号   # 所有都结束
#这样做的结果是备机node4也会拥有接口eth0:3, 而导致主备都会拥有同一个vip的情况 
#我们都知道在互联网中ip地址必须唯一,所以这样做是非常危险的,同时这也是keepalived的一个bug

# 主要是对端口号,virtual_ipaddress,persistence_timeout,lb_kind DR,心跳检查返回的状态的膝盖
# 这里没出现的建议删除

global_defs {
   notification_email {
     root@localhost  #发送提醒邮件的目标地址可有多个
     goldbin@126.com
  }
   notification_email_from test@localhost              #发送邮件的from地址，可以随意写，邮件地址不存在都无所谓
   smtp_server 127.0.0.1             #邮件服务的地址，一般写本地
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}


vrrp_instance VI_1 {
    state MASTER        #MASTER 主和从 
    interface eth0        #VIP需要绑定的网卡名称
    virtual_router_id 51
    priority 100       #优先级 主的优先级要高
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {  
        192.168.179.100/24 dev eth0 label eth0:3         #设置VIP
    }
}


virtual_server 192.168.179.100 80 {       #设置虚拟lvs服务，VIP PORT
    delay_loop 6
    lb_algo rr   #调度算法wrr
    lb_kind DR  #lvs的模式
    nat_mask 255.255.255.0
   # persistence_timeout 50 同一个IP地址在50秒内lvs转发给同一个后端服务器
    persistence_timeout 0
    protocol TCP
  
    real_server 192.168.179.141 80 {       #设置真实服务器的心跳机制 RID PORT
        weight 1      #权重
        HTTP_GET {      #心跳检测的方式
            url {
              path /      #心跳检查的地址
              status_code 200      #心跳检查返回的状态
            }
            connect_timeout 3       #超时时间
            nb_get_retry 3      #重复检查3次
            delay_before_retry 3      #每隔1秒钟再次检查
        }
    }
    real_server 192.168.179.142 80 {      #第二个真实服务器设置
      weight 1      #权重
        HTTP_GET {      #心跳检测的方式
            url {
              path /      #心跳检查的地址
              status_code 200      #心跳检查返回的状态
            }
            connect_timeout 2       #超时时间
            nb_get_retry 3      #重复检查3次
            delay_before_retry 3      #每隔1秒钟再次检查
        }
   }

}

# 1、安装依赖 gcc openssl-devel pcre-devel zlib-devel
yum install gcc openssl-devel pcre-devel zlib-devel -y

# 2.上传Tengine,解压,复制
# 要注意我们所复制后的目录以及复制后的文件名
tar tengine-2.1.0.tar.gz -rf
cp tengine-2.1.0 /usr/local/ -rf

# 3. 在复制后的tengine-2.1.0目录下运行
./configure \
  --prefix=/usr/local/tengine-2.1.0


# 4 .编译安装
make && make install

# 5. 上传脚本使nginx可以像服务一样启动 ,内容在下一个代码块
cd /etc/init.d/
chmod +x nginx 

# 6、添加该文件到系统服务中去
	chkconfig --add nginx
	查看是否添加成功
	chkconfig --list nginx

# 7. 运行nginx服务
service nginx  start

# ps:如果出现没有相关文件的错误, 请使用touch目录创建
# 在浏览器输入配置Tengine的ip即可访问,如下图

#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15 
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
 
# Source function library.
. /etc/rc.d/init.d/functions
 
# Source networking configuration.
. /etc/sysconfig/network
 
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
 
nginx="/usr/local/tengine-2.1.0/sbin/nginx"
prog=$(basename $nginx)
 
NGINX_CONF_FILE="/usr/local/tengine-2.1.0/conf/nginx.conf"
 
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
 
lockfile=/var/lock/subsys/nginx
 
make_dirs() {
   # make required directories
   user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   options=`$nginx -V 2>&1 | grep 'configure arguments:'`
   for opt in $options; do
       if [ `echo $opt | grep '.*-temp-path'` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
 
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
 
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
 
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
 
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
 
force_reload() {
    restart
}
 
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
 
rh_status() {
    status $prog
}
 
rh_status_q() {
    rh_status >/dev/null 2>&1
}
 
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

#1.定义Nginx运行的用户和用户组
user root root;

#nginx进程数，建议设置为等于CPU总核心数。
worker_processes 1;

#全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]
error_log /var/log/nginx/error.log info;

#进程文件
pid /var/run/nginx.pid;

#一个nginx进程打开的最多文件描述符数目，理论值应该是最多打开文件数（系统的值ulimit -n）与nginx进程数相除，但是nginx分配请求并不均匀，所以建议与ulimit -n的值保持一致。
worker_rlimit_nofile 65535;
#工作模式与连接数上限
events {
    #参考事件模型，use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll模型是Linux 2.6以上版本内核中的高性能网络I/O模型，如果跑在FreeBSD上面，就用kqueue模型。
    use epoll;
    #单个进程最大连接数（总的最大连接数=连接数*进程数）
    worker_connections 1024;
}


#2. event下的一些配置及其意义
 #单个后台worker process进程的最大并发链接数    
    #worker_connections  1024;
    # 并发总数是 worker_processes 和 worker_connections 的乘积
    # 即 max_clients = worker_processes * worker_connections
    # 在设置了反向代理的情况下，max_clients = worker_processes * worker_connections / 4  为什么
    # 为什么上面反向代理要除以4，应该说是一个经验值
    # 根据以上条件，正常情况下的Nginx Server可以应付的最大连接数为：4 * 8000 = 32000
    # worker_connections 值的设置跟物理内存大小有关
    # 因为并发受IO约束，max_clients的值须小于系统可以打开的最大文件数
	# 而系统可以打开的最大文件数和内存大小成正比，一般1GB内存的机器上可以打开的文件数大约是10万左右
    # 我们来看看360M内存的VPS可以打开的文件句柄数是多少：
    # $ cat /proc/sys/fs/file-max
    # 输出 34336
    # 32000 < 34336，即并发连接总数小于系统可以打开的文件句柄总数，这样就在操作系统可以承受的范围之内
    # 所以，worker_connections 的值需根据 worker_processes 进程数目和系统可以打开的最大文件总数进行适当地进行设置
    # 使得并发总数小于操作系统可以打开的最大文件数目
    # 其实质也就是根据主机的物理CPU和内存进行配置
    # 当然，理论上的并发总数可能会和实际有所偏差，因为主机还有其他的工作进程需要消耗系统资源。
    # ulimit -SHn 65535

#3. 设定http服务器
http {
    include mime.types; #文件扩展名与文件类型映射表
    default_type application/octet-stream; #默认文件类型
    #charset utf-8; #默认编码
    server_names_hash_bucket_size 128; #服务器名字的hash表大小
    client_header_buffer_size 32k; #上传文件大小限制
    large_client_header_buffers 4 64k; #设定请求缓
    client_max_body_size 8m; #设定请求缓
    sendfile on; #开启高效文件传输模式，sendfile指令指定nginx是否调用sendfile函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如果图片显示不正常把这个改成off。
    autoindex on; #开启目录列表访问，合适下载服务器，默认关闭。
    tcp_nopush on; #防止网络阻塞
    tcp_nodelay on; #防止网络阻塞
    keepalive_timeout 120; #长连接超时时间，单位是秒
    
    #5. gzip模块设置
    gzip on; #开启gzip压缩输出
    gzip_min_length 1k; #最小压缩文件大小
    gzip_buffers 4 16k; #压缩缓冲区
    gzip_http_version 1.0; #压缩版本（默认1.1，前端如果是squid2.5请使用1.0）
    gzip_comp_level 2; #压缩等级
    gzip_types text/plain application/x-javascript text/css application/xml;
    #压缩类型，默认就已经包含text/html，所以下面就不用再写了，写上去也不会有问题，但是会有一个warn。
    gzip_vary on;
    #limit_zone crawler $binary_remote_addr 10m; #开启限制IP连接数的时候需要使用
    
    #6. 虚拟主机的配置
    #nginx支持三种类型的虚拟主机配置，
    #1、基于ip的虚拟主机， （一块主机绑定多个ip地址）
    #2、基于域名的虚拟主机（servername）
    #3、基于端口的虚拟主机（listen如果不写ip端口模式）
    server {
        #监听端口
        listen 80;
        #域名可以有多个，用空格隔开
        server_name www.ha97.com ha97.com;

    #7. location 映射（ngx_http_core_module）
    	#location [ = | ~ | ~* | ^~ ] uri { ... }
    	#location URI {}:
    	#	对当前路径及子路径下的所有对象都生效；
    	#location = URI {}: 注意URL最好为具体路径。
        #   精确匹配指定的路径，不包括子路径，因此，只对当前资源生效；
    	#location ~ URI {}:
    	#location ~* URI {}:
    	#	模式匹配URI，此处的URI可使用正则表达式，~区分字符大小写，~*不区分字符大小写；
    	#location ^~ URI {}:
    	#	不使用正则表达式
    	#优先级：= > ^~ > ~|~* >  /|/dir/
        #=前缀的指令严格匹配这个查询。如果找到，停止搜索。
        # 特别注意: 所有剩下的常规字符串，最长的匹配。如果这个匹配使用^〜前缀，搜索停止。 
        #正则表达式，在配置文件中定义的顺序。
        #如果第3条规则产生匹配的话，结果被使用。否则，如同从第2条规则被使用
        #先普通
            #顺序无关
            #最大前缀
            #匹配规则简单
            #打断：
                #^~
                #完全匹配
        #再正则
            #不完全匹配
            #正则特殊性：一条URI可以和多条location匹配上
            #有顺序的
            #先匹配，先应用，即时退出匹配
        #IP访问控制
        #location  {
        	  # deny  IP /IP段   禁止访问
        	   #deny  192.168.1.109;
        	   #allow 192.168.1.0/24;192.168.0.0/16;192.0.0.0/8   允许访问
        	#}
        #规则：按照顺序依次检测，直到匹配到第一条规则
       # 用户认证访问
        #模块ngx_http_auth_basic_module 允许使用“HTTP基本认证”协议验证用户名和密码来限制对资源的访问。
        #	location / {
        #		auth_basic           "closed site";
        #		auth_basic_user_file /var/users;
        #    }
        #Apache发行包中的htpasswd命令来创建user_file 文件
        
        #要通过yum –y install httpd
        #htpasswd -c -m /var/users username
        #注：需要安装httpd才可以使用上面命令
        

        location ~ .*\.(php|php5)?$
            index index.html index.htm index.jsp;
            root /data/www/ha97;
        {
        fastcgi_pass 127.0.0.1:9000;
        fastcgi_index index.jsp;
        include fastcgi.conf;
    }
}    

# 1.修改配置文件
# 修改配置文件中的server, 修改了server_name
# 创建了一个server,配置server_name ,listen 以及location

 	server {
        listen 80;
        server_name www.chy.com;
        location / {
            root   /mnt;
            autoindex on;    #这里配置了自动索引
        }

         }
    server {
        listen       80;
        server_name  www.timepause.com;


        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }



# 2. 重新加载nginx ( 需要将Nginx封装成一个服务,本章第三节支持 )
service nginx reload

# 3. 在本地hosts文件中配置地址映射,将上面配置的两个域名映射到有nginx的虚拟机中
# hosts 文件位于 C:\Windows\System32\drivers\etc下
192.168.179.140  www.chy.com www.timepause.com

# 4.测试访问
www.timepause.com   如图1
www.chy.com              如图2

# 5. 如果虚拟机添加了光盘文件.可以挂载,以列表的形式进行显示
mount /dev/cdrom /mnt/
# 再次访问  www.chy.com (这样可以做yum的本地安装库, 如图3)
#思路 :找一台物理机+nginx可以作为公司的本地安装源

location / {
           root   html;
            index  index.html index.htm;
        }
         location /chy.doc {
             proxy_pass http://192.168.179.141/;
         }
        location ~* \.go$  {
            proxy_pass http://192.168.179.142;
        }

# 1. 修改超时时间,如果不为0 ,会等到超时时间结束才会被负载到另一个服务器, 
keepalive_timeout  0;

# 2. 创建 upstream配置, 名称任意 ,配置用于负载的服务器, 一般位于server配置的上方
upstream testbalance {
        server 192.168.179.141;
        server 192.168.179.142;
    }

# 3. 配置反向代理
# 重载服务后, 我们只需要访问 server_name+用于反向代理的localtion.即http://www.timepause.com/test
#就会被随机负载到 .141和 .142的两台服务器上了( 图1,图2 )
  location /test {                    							  # location后的拦截路径名任意,但是需要有"/"
             proxy_pass http://testbalance/;            # 这里最后也要有 "/;"
         }
         
----------------------------------------------------------
    server {
        listen       80;
        server_name  www.timepause.com;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
           root   html;
            index  index.html index.htm;
        }
         location /test {
             proxy_pass http://testbalance/;
         }
}
----------------------------------------------------------

location /baidu {
             proxy_pass https://www.baidu.com/;
         }

# 重载nginx服务,访问 (图1)
service nginx reload 

# 利用 ifconfig 命令查看网络信息,图1
ifconfig 

# 利用 !if 可快速执行上一个,命令,图2
!if

#这个命令的原理是会调用 history 命令来查看我们的历史命令,
#通过对我们在!后书写的字符进行匹配 ,如果匹配到就进行执行该命令

# 1. 修改主页,便于识别,查看session,访问页面,如图1,图2
# node2中的tomcat的index页面, 清除所有内容,编写如下代码 ,用于分辨主机以及对应的session信息(  位于/webapps/ROOT/index.jsp )
-----------------------------------
from 192.168.179.141<br>
<%=session.getId()%>

# node3中的tomcat的index页面,清除所有内容,编写如下代码(  /webapps/ROOT/index.jsp )
-----------------------------------
from 192.168.179.142<br>
<%=session.getId()%>

# 2 利用Nginx代理上面两个服务器(给我们的感觉是代理了两个tomcat主页 ) ,修改nginx.conf (配置负载均衡upstream 以及location  )
----------------------------配置的内容-----------------
 upstream test.tomcat.session {
        server 192.168.179.141:8080;
        server 192.168.179.142:8080;
        }

   server {
        listen       80;
        server_name  www.timepause.com;
        
        location /tomcat {
          proxy_pass http://test.tomcat.session/;
        }

}

# 3. 重载nginx 服务,访问 浏览器 ,可以看到一直刷新可以分别访问到这两个tomcat主页(图3,图4 )
http://www.timepause.com/tomcat

# 4.观察session变化我们可以看到,每次刷新session都会改变,这里就说明出现了session不一致的情况,下面我们将解决这个问题

# 1、安装memcached(node1)
  yum -y install memcached
  
# 2、启动memcached(node1)
	memcached -d -m 128m -p 11211 -l 192.168.179.140 -u root -P /tmp/
	-d:后台启动服务
	-m:缓存大小
	-p：端口
	-l:IP
	-P:服务器启动后的系统进程ID，存储的文件
	-u:服务器启动是以哪个用户名作为管理用户

	
# 3. 修改node2,node3中tomcat中conf  ( context.xml ), 注意memcachedNodes的配置
------------------------------------------------------------------------
<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager" 
	memcachedNodes="n1:192.168.179.140:11211" 
    sticky="false" 
    lockingMode="auto"
    sessionBackupAsync="false"
	requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
    sessionBackupTimeout="1000" transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory" />



# 4、拷贝jar到tomcat的lib下 ，分享在博客末尾
[asm-3.2.jar]
[kryo-1.04.jar]
[kryo-serializers-0.11.jar]
[memcached-session-manager-1.7.0.jar]
[memcached-session-manager-tc7-1.8.1.jar]
[minlog-1.2.jar]
[msm-kryo-serializer-1.7.0.jar]
[reflectasm-1.01.jar]
[spymemcached-2.7.3.jar]


5. 重启tomcat ,访问测试
由图1,图2可以看到运行memcached 就消除了一致性问题 ,而且他们的时间也被一致化了

[root@node4 ~]# date -s "2011-11-11 11:11:11"
Fri Nov 11 11:11:11 CST 2011