cluster(3)
(一) lvs-fullnat fullnat模式的性能虽然不如dr模式，但是，fullnat支持多vlan，再rs是不同的vlan的情况下，明显使用fullnat是很好的选择。 fullnat的基本原理:假定用户端的ip是cip，vs上有两个ip，一个是vip，还有lip，lip可以是不同网段的一组ip，rs的ip为rip，当客户请求进来，经过vs的时候，再vs出发生一次snat，将cip转化成lip，再由vs到rs的时候又发生了一次dnat，将vip转化成rip，同样的请求返回时，也经历了两次nat，所以一共经历4次nat，从而达到了可以支持多vlan的情况。 client (cip) ---> vs (vip,lip) ---> rs (rip) <--- <--- 但是在这种情况下，只有一台vs，会导致该vs的负载过大，加入keepalived也只能提高稳定性，并不能解决高吞吐量的问题，因此一般会进行一个lvs集群，keepalived可以对rs进行健康检查，在lvs集群前面加上一个路由器或者交换机，使用ospf协议，用户请求到达路由器（或者交换机）后，通过原地址、端口和目的地址、端口的hash，将链接分配到集群中的某一台LVS上，LVS通过内网向后端转发请求，后端再将数据返回给用户，整个会话完成。rs之间的session表要定期同步，以防止其中一个rs出现问题而造成session丢失的情况。 fullnat模式要重新编译内核，下面是步骤： 一 编译内核: 1 从官网上下载rpm源码包，并用rpmbuild重新编译为二进制包 kernel-2.6.32-220.23.1.el6.src.rpm Lvs-fullnat-synproxy.tar.gz 网址：kb.linuxvirtualserver.org 1 rpm -ivh kernel-2.6.32-220.23.1.el6.src.rpm ###安装rpm包### 2 cd rpmbuild/ ###安装完后会在当前目录下 3 yum install -y rpm-build 4 cd /root/rpmbuild/SPECS/ 5 rpmbuild -bp kernel.spec ###解开源码打补丁### ************************************************************************** 6 yum install redhat-rpm-config patchutils xmlto asciidoc binutils-devel newt-devel python-devel perl-ExtUtils-Embed hmaccalc ###依赖性### ************************************************************************** 7 yum install asciidoc-8.4.5-4.1.el6.noarch.rpm newt-devel-0.52.11-3.el6.x86_64.rpm slang-devel-2.2.1-1.el6.x86_64.rpm cd rpmbuild/SPECS/ ************************************************************************** 8 rpmbuild -bp kernel.spec ###解决完依赖性后再次解开源码打补丁### 9 tar zxf Lvs-fullnat-synproxy.tar.gz 10 cd lvs-fullnat-synproxy/ 11 cp lvs-2.6.32-220.23.1.el6.patch ~/rpmbuild/BUILD/kernel-2.6.32-220.23.1.el6/linux-2.6.32-220.23.1.el6.x86_64/ 12 cd ~/rpmbuild/BUILD/kernel-2.6.32-220.23.1.el6/linux-2.6.32-220.23.1.el6.x86_64/ 13 patch -p1 < lvs-2.6.32-220.23.1.el6.patch ###打补丁### 14 vim Makefile 内容： EXTRAVERSION = -220.23.1.el6 ###扩展版本，你所编译的版本### 15 make 16 make modules_install ###安装模块 17 make install ###安装的是引导文件，在/boot目录下就有你所编译的内核文件vmlinuz-2.6.32-220.23.1.el6### 18 vim /boot/grup/grub.conf ###引导文件要修改，因为你所编好的内核文件就加在原有版本的上面，因此default的要改成0，开机时才会进入你所编译的内核版本### 内容： default=0 ###改成0才会在进入系统时访问你所编译的版本### timeout=5 splashp_w_picpath=(hd0,0)/grub/splash.xpm.gz hiddenmenu title Red Hat Enterprise Linux Server (2.6.32-220.23.1.el6) ###你所编译的版本#### root (hd0,0) kernel /vmlinuz-2.6.32-220.23.1.el6 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=VolGroup/lv_root KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet initrd /initramfs-2.6.32-220.23.1.el6.img title Red Hat Enterprise Linux (2.6.32-431.el6.x86_64) ###原有的系统内核版本#### root (hd0,0) kernel /vmlinuz-2.6.32-431.el6.x86_64 ro root=/dev/mapper/VolGroup-lv_root rd_NO_LUKS LANG=en_US.UTF-8 rd_NO_MD rd_LVM_LV=VolGroup/lv_swap SYSFONT=latarcyrheb-sun16 crashkernel=auto rd_LVM_LV=VolGroup/lv_root KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet initrd /initramfs-2.6.32-431.el6.x86_64.img 二 realserver kernel 步骤与内核编译相同，不过打补丁是打toa补丁，toa补丁是为让realserver拿到客户端的ip地址，如果不许要可以不编译 三 编译keepalived 1 cd lvs-fullnat-synproxy/ 2 tar zxf lvs-tools.tar.gz 3 cd tools/keepalived/ 4 ./configure --with-kernel-dir="/lib/modules/`uname -r`/build" 5 make 6 make install ###编译ipvsadm### 1 cd lvs-fullnat-synproxy/tools/ipvsadm/ 2 make 3 make install 4 ipvsadm --help ###可以看见lvs的模式里多了一个fullnat### 5 ipvsadm -l ###(size=4194304)变为2的22次方,原来只有4096，一但是高吞吐量的时候就有可能发生丢包的现象#### （二）keepalived+nginx 两个节点一样的操作： 1 vim /usr/local/lnmp/nginx/conf/nginx.conf 内容： upstream westos { server 172.25.78.3:80; server 172.25.78.4:80; } server{ listen 80; server_name www.westos.org; location / { proxy_pass http://westos; } } 2 vim /opt/nginx_check.sh #!/bin/bash curl http://127.0.0.1/index.html -o /dev/null -s || nginx if [ $? -ne 0 ]; then /etc/init.d/keepalived stop &> /dev/null fi 3 vim /etc/keepalived/keepalived.conf ! Configuration File for keepalived vrrp_script nginx_check { script /opt/nginx_check.sh interval 2 } global_defs { notification_email { root@localhost } notification_email_from keepalived@server1 ###还有一个节点为server2#### smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_instance VI_1 { state MASTER ###还有一个节点写backup### interface eth0 virtual_router_id 51 priority 100 ###还有一个节点的数字要比100低### advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.78.100 } track_script { nginx_check } } 4 /etc/init.d/keepalived start 5 nginx 测试： 1 [root@foundation78 Desktop]# curl www.westos.org <h1>server3-www.westos.org</h1> [root@foundation78 Desktop]# curl www.westos.org <h1>server3-www.westos.org</h1> [root@foundation78 Desktop]# curl www.westos.org <h1>server4-www.westos.org</h1> [root@foundation78 Desktop]# curl www.westos.org <h1>server3-www.westos.org</h1> 2 当server1的keepalived停止了,server2接管资源 [root@server2 conf]# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 52:54:00:ac:6c:6d brd ff:ff:ff:ff:ff:ff inet 172.25.78.2/24 brd 172.25.78.255 scope global eth0 inet 172.25.78.100/32 scope global eth0 inet6 fe80::5054:ff:feac:6c6d/64 scope link valid_lft forever preferred_lft forever [root@foundation78 Desktop]# curl www.westos.org <h1>server4-www.westos.org</h1> [root@foundation78 Desktop]# curl www.westos.org <h1>server3-www.westos.org</h1> [root@foundation78 Desktop]# curl www.westos.org <h1>server3-www.westos.org</h1> [root@foundation78 Desktop]# curl www.westos.org <h1>server4-www.westos.org</h1> 3 当server1的nginx停止了 [root@server1 conf]# nginx -s stop [root@foundation78 Desktop]# curl www.westos.org <h1>server3-www.westos.org</h1> [root@foundation78 Desktop]# curl www.westos.org <h1>server4-www.westos.org</h1>