LVS初步
本为2014年一篇文章，发现被删除了，故重发。
1. 前言
很多人知道LVS，但可能知之不多，希望阅读本文后，能够对LVS有一个基本的感性认识。
LVS是国内最早出现的自由软件之一，由国防科技大学章文嵩博士在1998年5月创立，章博士目前是淘宝网高级研究员，是淘宝网核心系统负责人。
LVS首要的是解决路由问题，结果不但解决了耦合问题，实现了网络隔离，而且顺带实现了负载均衡，负载均衡复杂的地方在于不同的均衡策略。常常均衡和路由成对出现，象分布式中的一致性哈希，也是路由和均衡，实际上还达到了容灾的效果，可以说是一举多得。
2. 思考
一个数据包，是如何从一个机器达到另一个机器的？两个机器可以连接在同一个交换机上；也可以挂在不同的交换机上；甚至可能一个在内网，另一个在外网。
抓包工具tcpdump、Wireshark和Sniffer等是如何工作的？Linux内核中的Netfilter原理是什么？最好可以，动手写一个基于RAW SOCKET的抓包工具，按IP、TCP/UDP格式解析，并以可视化方式展现出来，甚至可以进一步解析诸于HTTP之类的。
3. 名词解释
下表中，蓝色字体部分是最基础的名词，其它可最后反过来再细读：
缩写 | 全称 | 说明 |
|---|---|---|
LVS | Linux Virtual Server | Linux虚拟服务器，它有三种工作模式：NAT、DR和TUN |
IPVS | IP Virtual Server | 运行在LVS下的，提供负载均衡的一种技术 |
NAT | Network Address Translation | 网络地址转换，也可叫IP地址转换 |
DR | Direct Routing | 直接路由，也可叫MAC地址转换 |
TUN | Tunneling | 隧道 |
LD | LVS Director | |
LB | Load Balancer | 负载均衡器 |
IP Tunneling | IP隧道 | |
VS | Virtual Server | 虚拟服务器 |
RS | Real Server | 真实服务器 |
VIP | Virtual IP | 虚拟IP |
V** | Virtual Private Network | 虚拟专用网络，也叫虚拟私有网络，利用加密技术在公网上封装出一个数据通讯隧道 |
LAN | Local Area Network | 本地局域网 |
WAN | Wide Area Network | 广域网 |
Switch | 交换机 | |
AS | Autonomous System | 自治系统，处于一个管理机构控制下的路由器和网络群组，有权自主决定在本系统中采用何种路由协议 |
BGP | Border Gateway Protocol | 边界网关协议，用于AS间的动态路由协议，是一种外部网关协议 |
IGP | Interior Gateway Protocol | 内部网关协议 |
EGP | Exterior Gateway Protocl | 外部网关协议，在AS的相邻两个网关主机间交换路由信息的协议，是一个轮询协议 |
GGP | Gateway to Gateway Protocol | 网关到网关协议 |
LSA | Link State | 链路状态，OSPF接口上的描述信息，例如IP地址、子网掩码、网络类型等 |
OSPF | Open Shortest Path First | 开放式最短路径优先，是一种IGP，用于在单一AS内决策路由，运作于AS内部，是链路状态协议。OSPF路由器间交换的不是路由表，而是LSA |
RIP | Routing Information Protocol | 路由信息协议，使用最广泛的IGP，但正在被OSPF等所取代 |
ARP | Address Resolution Protocol | 地址解析协议，根据IP取MAC的协议 |
RARP | Reverse Address Resolution Protocol | 反向地址解析协议，根据MAC取IP的协议 |
OSI | Open System Interconnection | 一个开放性的通行系统互连参考模型，是一个协议规范 |
4. OSI参考模型
5. LVS架构
5.1. 负载均衡器（Load Balancer）
它是整个集群对外面的前端机，负责将Client的请求发送到一组服务器上执行，而Client认为服务是来自一个IP地址上的。它可以是用IP负载均衡技术的负载均衡器，也可以是基于内容请求分发的负载均衡器，还可以是两者的结合。
5.2. 服务器集群（Server Cluster）
是一组真正执行Client请求的服务器，执行的服务有WEB、MAIL、FTP和DNS等。
5.3. 后端存储（Storage）
它为服务器集群提供一个共享的存储区，这样很容易使得服务器集群拥有相同的内容，以便提供相同的服务。
6. 区别
特点 | 适用网络 | |
|---|---|---|
LVS/DR | 修改MAC，RS将响应返回给Client | LAN，同一物理网段 |
LVS/NAT | 修改IP为RS的IP，LD将响应返回给Client | 私有网络 |
LVS/TUN | 不修改IP，但包装一个新的IP头，RS将响应返回给Client | LAN、WAN |
DR特点导致它不能跨LAN，这个比较容易理解。
在IP处理上，NAT是修改，而TUN是新增，后者可跨LAN，为何NAT不行？要理解这一点，只需要知道响应是怎么回去的就明白了。
? 为何NAT是修改IP，而TUN是包装一个新IP头？
1) NAT：
它修改IP的目的是让包可以达到目标RS，仅此而已。但包装个新的IP头同样可以达到这个目的，但无疑多了开销。
2) TUN：
对于TUN模式，修改同样可以让包达到目标RS，但是这样的结果是包不能回到Client了，因为丢失了源IP，所以TUN模式必须包装一个新的IP头。而NAT模式，数据包的进出都是经过LD，包不会从RS直接到Client，所以NAT模式修改即可。
6.1. 包层次关系
6.2. IP包头结构
6.3. TCP包头结构
6.4. LVS/DR
6.5. LVS/NAT
从下图，可以看出NAT模式只需要一个公网IP：
6.6. LVS/TUN
7. 配置
7.1. LVS/DR配置
7.1.1. 配置Director
在Diector机器上完成下列所有操作：
1) 为Director配置VIP，此IP用于对外提供服务：
#ifconfig eth0:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up
上述操作，在eth0上绑定了一个虚拟设备eth0:0，同时设置VIP为192.168.1.100。
2) 指定eth0:0的路由：
#route add -host 192.168.1.100 dev eth0:0
3) 开启包转发，让Director充当路由器角色：
#echo 1 > /proc/sys/net/ipv4/ip_forward
注意，对于DR，开启包转发不是必须的，但对于NAT是必须的。
4) 接下来，配置ipvs，执行以下操作：
① #ipvsadm -C
② #ipvsadm -A -t 192.168.1.100:80 -s rr -p 600
③ #ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -g
④ #ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.30:80 -g
上面，第一行是清除内核中的虚拟服务器列表中的所有记录；第二行是添加一条新的VIP记录，这个新的VIP是192.168.1.100，同时指定它的持续服务时间为600秒；第三和第四行，是在VIP记录中添加两条RS记录，并且指定LVS的工作模式为DR。
5) 至此，配置完成，即可启动LVS服务：
#ipvsadm
7.1.2. 配置RS
在DR和TUN两种工作模式下，请求达到RS后，响应直接返回给Client，而不经过Director。因此，需要在每个RS上配置VIP，这个VIP和Director上的相同，这样数据才能直接返回给Client。
在所有RS机器上分别完成下列所有操作：
1) 配置VIP：
#ifconfig lo:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up
2) 指定lo:0的路由：
#route add -host 192.168.1.100 dev lo:0
3) 禁止本机的ARP请求（因为这时根据IP取MAC地址会失败）：
① echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
② echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
③ echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
④ echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
? arp_ignore
定义响应ARP请求的策略：
值 | 作用 |
|---|---|
0 | 默认值，响应任何对本地IP的ARP请求 |
1 | 只响应目标IP是访问本机IP的ARP请求 |
2 | 只响应目标IP是访问本机IP的ARP请求，且源IP和本地IP须在同一子网 |
3 | 不响应ARP请求 |
4-7 | 保留未使用 |
8 | 不响应所有的ARP请求 |
? arp_announce
定义响应ARP请求的限制：
值 | 作用 |
|---|---|
0 | 无论哪块网卡收到ARP请求，只要是本机的MAC，都作出响应 |
1 | 尽量避免响应MAC不是本网卡的ARP请求 |
2 | 使用最合适的网卡来响应ARP请求 |
4) 为使禁止ARP请求生效，执行：
#sysctl -p
由于VIP是Director和所有RS共享的，如果不禁止，产生ARP请求时，会导致Director和所有RS都应答，从而产生冲突，因此需要禁止RS响应ARP请求。
7.2. LVS/NAT配置
7.2.1. 配置Director
在Diector机器上完成下列所有操作：
1) #ifconfig eth0:0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up
2) #echo 1 > /proc/sys/net/ipv4/ip_forward
3) 接下来，配置ipvs，执行以下操作：
① #ipvsadm -C
② #ipvsadm -A -t 192.168.1.100:80 -s rr
③ #ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -m
④ #ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.30:80 -m
4) 至此，配置完成，即可启动LVS服务：
#ipvsadm
7.2.2. 配置RS
在所有RS机器上分别完成下列所有操作：
1) 配置默认网关为Director，以保证数据可从Director返回：
#route add default gw 192.168.1.100
7.3. LVS/TUN配置
7.3.1. 配置Director
在Diector机器上完成下列所有操作：
1) 设置tunl0（隧道网卡）的IP为VIP：
#ifconfig tunl0 192.168.1.100 broadcast 192.168.1.100 netmask 255.255.255.255 up
2) 指定tunl0的路由：
#route add -host 192.168.1.100 dev tunl0
3) 接下来，配置ipvs，执行以下操作：
① #ipvsadm -C
② #ipvsadm -A -t 192.168.1.100:80 -s rr
③ #ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -i
④ #ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.30:80 -i
4) 至此，配置完成，即可启动LVS服务：
#ipvsadm
7.3.2. 配置RS
在所有RS机器上分别完成下列所有操作：
1) #ifconfig tunl0 192.168.1.100 netmask 255.255.255.255 up
2) route add -host 192.168.1.100 dev tunl0
3) 禁止本机的ARP请求：
① echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
② echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
③ echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
④ echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
4) 为使禁止ARP请求生效，执行：
#sysctl -p
8. ipvsadm
参数 | 解释 |
|---|---|
-C | --clear，清除内核虚拟服务器表中的所有记录 |
-A | --add-service，往内核VS表添加一个VS |
-a | --add-server，在内核VS表中添加一个RS |
-t | --tcp-service，表示VS提供的是TCP服务 |
-m | --masquerading，指定LVS的工作模式为NAT |
-i | --ipip，指定LVS的工作模式为TUN |
-g | --gatewaying，指定LVS的工作模式为DR |
-r | --real-server，指定RS的地址和端口 |
-p | --persistent [timeout]，来自同一个Client的多次请求，转发给同一台RS，timeout默认为300秒 |
-s | --scheduler，指定调度策略，有以下几个选项： 1) rr，轮询方式（Round-Robin） 2) wrr，加权轮询方式（Weighted Round-Robin），按顺序许循环分派请求给RS，但给能力的RS分派更多 3) lc，最小连接（Least-Connection） 4) wlc，加权最小连接（Weighted Least-Connection） 5) lblc，基于局部性的最少链接（Locality-Based Least-Connection） 6) lblcr，带复制的基于局部性最少链接（Locality-Based Least-Connection with Replication），某页面缓存在服务器A上，被访问次数极高，而其它服务器负载较低，监视是否访问同一页面，如果是则把请求转发给其它服务器 7) dh，目标地址散列（Destination Hash），对目标IP进行hash，将同一目标IP的请求转发给相同的RS 8) sh，源地址散列（Source Hash），与dh刚好相反，基于源IP 9) sed，最短预期延时（Shortest Expected Delay） 10) nq，不排队（Never Queue），如果某RS连接数为0，则直接分配 默认的调度策略为wlc。 |