Python自动化运维之LVS

1 集群基础
1.1 集群简介	
	1.1.1 集群基础	
		场景需求
			满足不了用户需求
			集群：资源扩展的解决方案
		解决方案
			三轴扩展
			x轴： 复制或者克隆的方式
			y轴： 配置升级或者资源增强的方式
			z轴： 通过业务梳理和资源整合的方式，实现细节单独部署的一种扩展方式
		访问效果
			浏览器  - dns解析 - 反向代理 - 负载均衡 - web应用 - 数据库 - 存储
			
	1.1.2 集群类型	
		类型简介
			高扩展集群 LB	共同支撑一个业务应用
			高可用集群 HA	核心的业务
			高性能集群 HPA	技术方案+高性能设备 有限资源，高复杂计算场景
	1.1.3 实现方式	
		实现方式 
			硬件	F5 
			软件	
				LVS 		2~4
				NGINX		4~7
				HAPROXY		4~7
				
		依赖功能
			会话问题：
				会话粘滞
				会话复制
				会话共享
2 LVS快速入门
2.1 LVS基础	
	2.1.1 防火墙回顾
		五表五链
			filter 		包过滤
			nat			网络地址转换
			
		链：
			PREROUTING
			INPUT
			FORWARD
			OUTPUT
			POSTROUTING
		综合效果图
		生产使用
			filter
				主机防火墙	INPUT  OUTPUT
				网络防火墙  FORWARD
			nat
				
		DNAT&SNAT 
			SNAT	场景：公司内网主机，借助于路由器的外网ip到互联网上访问web服务
					数据包的源ip地址发生转换
			DNAT	场景：外网的客户端，访问公司的服务，通过访问公司的外网路由ip，进而找的真实的web服务器主机
					数据包的目标ip地址发生了转换。
					
	2.1.2 LVS简介
		 项目简介
			linux virtual server 开源项目
			基于ip负载均衡和内容分发功能，将大量的空闲主机资源合理的利用起来
		 集群结构
			调度功能
			服务器池
			共享存储
		 体系框架
			ipvs
			
		 调度功能 
			NAT
			DR 
			TUN 
			FULLNAT
	2.1.3 LVS结构	
		日常术语
			主机： DS  RS
			ip：	CIP  VIP DIP  RIP
		工作流程
			用户发起请求给lvs主机的vip
			lvs主机接收请求后，基于内部的调度策略，转交给后端RS主机
			RS主机处理请求后，将响应报文原路返回，或者通过其他机制返回给用户
			
			数据包的流程：
				lvs 在本机内核空间的路由决策后，input链之前
		软件组成
			组成：
				内核空间：ipvs
				用户空间：ipvsadm
2.2 快速入门	
	2.2.1 安装软件	
		安装：
			yum install ipvsadm 
				默认版本：1.27 
				最新版本：1.29 编译安装
				
			
	2.2.2 命令简介
		ipvsadm -h
			主机 
			集群 
			通用
			
	2.2.3 集群命令
		查看
			ipvsadm -Ln
			ipvsadm -Ln --rate
		增加
			ipvsadm -A -t lvs_vip:lvs_port
		编辑
			ipvsadm -E -t lvs_vip:lvs_port 其他属性
		删除
			ipvsadm -D -t lvs_vip:lvs_port
			
	2.2.4 主机命令	
		查看
			ipvsadm -Ln
				-> 
		增加
			-a 
		编辑
			-e
		删除
			-d 
			ipvsadm -A -t 192.168.8.14:80
			ipvsadm -Ln
			ipvsadm -a -t 192.168.8.14:80 -r 192.168.8.14
			ipvsadm -Ln
			ipvsadm -a -t 192.168.8.14:80 -r 192.168.8.15:999
			ipvsadm -Ln
			ipvsadm -a -t 192.168.8.14:80 -r 192.168.8.15:999 -m
			ipvsadm -Ln
			ipvsadm -a -t 192.168.8.14:80 -r 192.168.8.16 -i
			ipvsadm -Ln
			ipvsadm -e -t 192.168.8.14:80 -r 192.168.8.14:80 -m
			ipvsadm -Ln
			ipvsadm -e -t 192.168.8.14:80 -r 192.168.8.15:89 -m
			ipvsadm -e -t 192.168.8.14:80 -r 192.168.8.15:999 -i
			ipvsadm -Ln
			ipvsadm -e -t 192.168.8.14:80 -r 192.168.8.14:80 -i
			ipvsadm -Ln
			ipvsadm -d -t 192.168.8.14:80 -r 192.168.8.14:80
			ipvsadm -Ln
			ipvsadm -D -t 192.168.8.14:80

		注意：
			创建RS的时候，一定要保证 lvs地址是存在的
			在修改主机信息的时候，一定包保证lvs地址和rs地址都是正确的，
			修改主机地址是不可能成功的，因为它相当于要创建一个新的RS，-a
		
	2.2.5 规则命令	
		保存规则
			ipvsadm-save -n
			ipvsadm -Sn
			关键点：
				保存的时候，规则中的ip和主机名解析相关，端口和协议相关
				
		清空规则
			ipvsadm -C 
		导入规则
			ipvsadm-restore
		规则服务
			第一次由于 /etc/sysconfig/ipvsadm 不存在，服务启动不了
			第一次启动服务之前，先使用ipvsadm-save -n将所有的规则以标准的形式保存到 /etc/sysconfig/ipvsadm 
			接下来，启动该服务，即可
			
		拓展：
			在教学环境中，为了避免知识点的干扰，我们在学习的过程中，尽量不用服务
			
2.3 NAT实践	
	2.3.1 前置知识
		 网络设备
			二层设备：同一个网段的主机通信 交换机
			三层设备：跨网段的主机通信，路由器
		 基础环境
			单主机双网络环境：
				单主机双网卡，单网卡+别名
				数据转发功能：
					/proc/sys/net/ipv4/ip_forward = 1
			nat环境：
				SNAT+DNAT 的效果
					源地址+目标地址 都会发生转换
					
	2.3.2 NAT简介	
		模型简介
			站在用户的角度来梳理：
				用户CIP发起的数据包，到lvs主机的外网地址vip
				请求的数据包：DNAT的效果
				相应的数据包：SNAT的效果
		模型分析 
			关键点：	
				1 整个环境涉及到两个网段：外网和内网
					外网  CIP 和 VIP
					内网  DIP 和 RIP
				2 内网主机响应报文想要发出去，必须配备网关
				3 数据包的进入和输出，都需要经过 lvs调度器
				
	2.3.3 简单实践	
		案例需求
			目标：nat网络模型
			
		需求分析
			1 集群的网络环境配置
			2 后端web服务配置
			3 lvs集群配置
		技术点分析
			1 集群的网络环境配置
				1 四台主机的网络适配器设置
				2 4台主机的网络配置
			2 后端web服务配置 
				yum install httpd 
				echo 'hello rsx' > /var/www/html/index.html
				systemctl start httpd 
			3 lvs主机配置
				ipvsadm -A -t 192.168.8.14:80
				ipvsadm -a -t 192.168.8.14:80 -r 172.16.10.15 -m
				ipvsadm -a -t 192.168.8.14:80 -r 172.16.10.16 -m
				
				在客户端进行测试：
					curl 
		操作实践
		实践小结 
			基础网络中的 
				lvs主机的数据转发功能
				rs主机的网关配置 
			lvs集群配置
				先设置集群 
				在增加主机
				注意 主机模型 -m 
			
	2.3.4 原理详解	
		模型原理
			cip -- vip  -- rip 
		数据包分析
			tcpdump -i eth0 port 80 
			在lvs主机上查看到的数据包
			在Rs主机上查看到的数据包 
			
		完整数据包流程
			tcp三次握手  http协议处理  tcp四次断开
	2.3.5 应用技巧	
		原理技巧
			数据包过来：DNAT   vip->rip
			数据包发出：SNAT   rip->vip
		实践技巧
			后端网络
				lvs的DIP可以与RIP为一个网络也可以不是
				交换机和路由器的效果
			数据传输
				整个数据传输过程中，所有的数据都会经过lvs主机，所以大场景下，lvs主机有可能会成为流量的瓶颈点
				
			数据转发
				nat 实现的功能，可以出现在网络层和传输层，
					端口映射环境
			主机系统
				lvs主机仅限于linux系统，RS主机无所谓。
				
	2.3.6 进阶实践1	
		 案例需求
			目的：在公司内网RS主机和lvs主机的DIP不在同一个网段
				内网路由环境测试nat效果
		 需求分析
			增加了一个路由器
		 技术点分析
		 操作实践
		 实践小结
			1 在实践的时候，集群网络的拓扑图一定要设计好
			2 网络通信的时候，不同网段间数据传输的网关一定要设置好
		 数据包流程
			
	2.3.7 进阶实践2	
		案例需求
			目的：单lvs主机实现多业务的负载均衡效果
		需求分析
		技术点分析
		操作实践
			ipvsadm -A -t 192.168.8.14:80
			ipvsadm -A -t 192.168.8.14:443
			ipvsadm -a -t 192.168.8.14:80 -r 172.16.10.15 -m
			ipvsadm -a -t 192.168.8.14:80 -r 172.16.10.16 -m
			ipvsadm -a -t 192.168.8.14:443 -r 172.16.10.16:443 -m
			ipvsadm -a -t 192.168.8.14:443 -r 172.16.10.17:443 -m 
			ipvsadm -Ln				
		实践小结
			1 网络拓扑
			2 ipvs规则 -m 
			3 后端主机的网关 
			
2.4 调度策略	
	2.4.1 前置知识
		代理
			数据传输的一种方式
			分类：
				正向代理： 保护局域网内的客户端主机去互联网上访问网络，整个过程，主机信息受保护
				反向代理：用户去访问局域网内的web服务器，整个过程，web服务器信息我们看不到。
		会话
			数据传输的状态方式
			session		敏感信息保存在服务端，安全
			cookie		敏感信息保存在客户单，不安全
		hash
			数据保存的一种机制
				大数量，随机的保存到一块空间中，
				
	2.4.2 调度基础	
		调度基础
			lvs场景：按需转发效果
		调度分类
			内置策略
			扩展策略
		lvs调度策略
			13种
	2.4.3 静态方法
		 轮训	rr	
			见者有份
		 权重	wrr fo
			wrr 在进行轮训之前，首先对后端主机有一个前提的了解
			fo  优先考虑权重最高主机
		 hash	sh  dh mh
			sh	数据包中的源地址
			dh 	数据包中的目标地址
			mh 	web主机进行优先级排序
			
	2.4.4 动态方法	
		最少链接	lc wlc lblc lblcr
		其他方法	OVF、SED、NQ
		
		着重记住：
			rr  wrr sh dh lc wlc 
			
	2.4.5 WRR实践
		案例需求
			实践 wrr的效果
		需求分析
		操作实践
			ipvsadm -A -t 192.168.8.14:80 -s wrr
			ipvsadm -a -t 192.168.8.14:80 -r 172.16.10.15 -m -w 1
			ipvsadm -a -t 192.168.8.14:80 -r 172.16.10.16 -m -w 2
			ipvsadm -a -t 192.168.8.14:80 -r 172.16.10.17 -m -w 3				
		实践小结	
			1 集群的基础网络环境很重要
			2 在设置后端主机的权重的时候，-w 参数很重要，默认的权重值是1
			3 工作中，后端主机的权重设置，需要对设备有比较熟悉的了解。	
			
	2.4.6 SH实践
		案例需求
			目的：基于用户的数据包源地址进行定向的分配请求
		需求分析
		操作实践
			ipvsadm -A -t 192.168.8.14:80 -s sh
			ipvsadm -a -t 192.168.8.14:80 -r 172.16.10.15 -m
			ipvsadm -a -t 192.168.8.14:80 -r 172.16.10.16 -m
			ipvsadm -a -t 192.168.8.14:80 -r 172.16.10.17 -m				
		实践小结
			1 集群的基础网络环境很重要
			2 在设置后端主机的权重的时候，-m 参数很重要，默认的权重值是1
			3 设置lvs集群的时候，-s 指定sh调度算法	
	2.4.7 DH实践	
	2.4.8 OVF实践	
2.5 DR实践	
	2.5.1 前置知识	
		ARP缓存表
			在主机内部维护其他主机的ip和mac关联关系，方便以后通信
		交换机工作原理
			同网段主机间的通信机制
				接口和mac关联关系，快速找到对端主机，加快数据传输
		地址冲突
			内核参数
				禁发广播 arp_annonce 2 
				禁止响应 arp_ignore  1
	2.5.2 DR简介	
		模型简介
			DR模型是LVS转发场景中的默认模式 Route
			工作流程：
				1 网段两个
				2 转发特点：mac
				3 VIP可以与CIP直接通信
					1 所有的RS主机都有VIP：可以基于内核参数的变化避免
					2 VIP必须配置相应的网关才能找到CIP
				4 进入必须通过LVS主机，出去无所谓
				
				
		模型分析
	2.5.3 简单实践	
		案例需求
			目的；
				当前网络拓扑情况下，实验lvs的DR模型的负载均衡
		需求分析
			网络环境设置
			后端web主机设施
			lvs集群设置
		技术点分析
			网络环境设置
				网卡配置
				网关配置
				地址冲突
			后端web主机设施
				软件源
				http服务
			lvs集群设置	
				lvs集群设置
				lvs主机增加
				效果测试
				
		操作实践
			网络环境：
				网卡配置
				网关配置
				vip配置
					echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
					echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
					echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
					echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce		
					注意：	
						尤其是在后端主机配置的时候，
						先配置内核参数，在设置vip到lo
						lvs-server主机的vip最好设置在eth0上面
						
			后端服务
				软件源
				httpd
			lvs集群设置
				软件安装
				集群设置
					ipvsadm -A -t 172.16.10.100:80 
					ipvsadm -a -t 172.16.10.100:80 -r 172.16.10.15 -g
					ipvsadm -a -t 172.16.10.100:80 -r 172.16.10.16 -g	
				测试效果：
					curl 172.16.10.100
		实践小结
			1 基础的网络配置很重要，lvs-server和所有Rs在同一个私网内
			2 客户端的网关配置、内网主机的网关配置对数据包的流转很重要
			3 VIP的配置以及ip冲突的措施
			3 配置ipvs规则的时候，记住要使用 -g(可以省略) 参数。	
			
	2.5.4 原理详解	
		模型原理
			整个过程，数据包中的网络层信息(源IP和目标IP)没有发生变化
			变化的是mac地址
		数据包分析
			tcpdump -i eth0 port80 -e
		完整数据包流程
			数据流入 客户端-路由器-lvs-RS主机
			数据流出 RS主机-路由器-客户端
			
			
	2.5.5 应用技巧
		原理技巧
			lvs主机在数据转发的时候，是基于目标mac地址转换而成
		实践技巧
			后端网络
				1 RS和lvs属于同一网段
				2 RS主机为了避免和LVS主机上的VIP冲突
					arp_ignore 和 arp_annonce 两个内核属性的更改
			数据传输
				lvs主机只处理连接进来的数据包，不处理输出的数据包，
				mac方式转发数据，不支持网络层之上的其他转发方式应用的场景：端口映射
			主机系统
				lvs 仅限 linux 
				RS 无所谓
2.6 TUN实践	
	2.6.1 前置知识	
		路由原理
			路由工作在OSI网络层，跨网络的数据传输
				原理：路由器内部维护了各个网段的路由表
				
			路由跳转：
				同一网段：直连路由
				跨网段：非直连路由
				
			路由设置；
				手工路由
					网卡配置中的GATEWAY
					route add
				动态路由：
					自动生成的输出转出口
					默认路由，是一种特殊的动态路由。
					
		路由的流程：
			主机A   --  主机B
				找到路由器
					看是否有路由条目，
						有  - 直接通过接口发送出去
						无  - 默认路由 
								无默认路由  丢数据包
				
		隧道技术
			它是一种跨多路由的实现直接数据传输的一种数据传输方式
			特点：
				将原始数据包，封装到一个虚拟的ip隧道数据包内部
			常见隧道技术：
				ipip gre  sit 
				
	2.6.2 隧道实践	
		案例需求
			跨网段之间主机，基于ip隧道技术直接跨网段通信
		需求分析
			要实现ip隧道技术，首先保证基础的网络是正常的
		技术点分析
		操作实践
			主要体现在两个Rs主机上，和我们的lvs-route没有太大关系
			主机1 操作：
				加载系统模块
				modprobe ipip
				modprobe ip_gre
				创建隧道网络
				# 创建隧道名tun0，模式采用gre，直通远端ip-172.16.20.15，对应本地ip-172.16.10.14，路由存活时间255
				ip tunnel add tun0 mode gre remote 172.16.20.15 local 172.16.10.14 ttl 255
				# 启动隧道
				ip link set tun0 up
				# 设定本机tun0上的虚拟ip,并制定对端ip-192.168.2.1
				ip addr add 192.168.1.1 peer 192.168.2.1 dev tun0
				# 设定本机隧道tun0的路由信息
				ip route add 192.168.2.0/24 dev tun0				
			主机2 操作：
				加载系统模块
				modprobe ipip
				modprobe ip_gre
				创建隧道网络
				ip tunnel add tun0 mode gre remote 172.16.10.14 local 172.16.20.15 ttl 255
				ip link set tun0 up
				ip addr add 192.168.2.1 peer 192.168.1.1 dev tun0
				ip route add 192.168.1.0/24 dev tun0	

			操作流程：
				1 加载隧道模块
				2 设置基础隧道设备
				3 配置隧道属性
				4 隧道网络的路由
				
	2.6.3 TUN简介
		 模型简介
			TUN  lvs主机和RS主机是基于ip隧道技术进行通信
			整个过程，数据包的源ip和目标ip未发生变化
		 模型分析
			客户端-lvs主机 外网网段
			lvs主机-RS主机 隧道网段
			
	2.6.4 简单实践
		 案例需求
			目的：lvs集群效果的TUN模型实践负载均衡
		 需求分析
			实践环境：单网络场景lvs-rs中间是隧道网络
			隧道网络中的数据包格式不是标准的，需要关闭隧道数据传输时候的数据格式检测：
				rp_filter
		 技术点分析
		 操作实践
			RS的tunl配置
				modprobe ipip
				echo '0' > /proc/sys/net/ipv4/ip_forward
				echo '1' > /proc/sys/net/ipv4/conf/tunl0/arp_ignore
				echo '2' > /proc/sys/net/ipv4/conf/tunl0/arp_announce
				echo '1' > /proc/sys/net/ipv4/conf/all/arp_ignore
				echo '2' > /proc/sys/net/ipv4/conf/all/arp_announce
				echo '0' > /proc/sys/net/ipv4/conf/tunl0/rp_filter 
				echo '0' > /proc/sys/net/ipv4/conf/all/rp_filter
				ifconfig tunl0 192.168.8.100/32 up
				
			lvs规则；
				ipvsadm -A -t 192.168.8.100:80 
				ipvsadm -a -t 192.168.8.100:80 -r 192.168.8.15 -i
				ipvsadm -a -t 192.168.8.100:80 -r 192.168.8.16 -i				
		 实践小结
			1 基础的网络配置很重要，所有主机在同一个网络内
			2 只有lvs主机用到了ip_forward功能
			3 VIP的配置以及ip冲突的措施
			4 rp_filter安全规则的设定。		
			
	2.6.5 原理详解	
		模型原理
			客户端-lvs  正常的网络传输
			lvs-Rs 		虚拟的ip隧道
							ip隧道数据包(内部是正常数据包)
		
		实践技巧
			后端网络 
				LVS(DIP)和RS（RIP）可以是同一网络，也可以不是，
				RS上面的tunl0设置VIP，vip的地址冲突
				RS上面tunl0接受到的数据包不规范，关闭rp_filter功能
			数据传输 
				输入数据包经过lvs主机，输出不经过
				ip隧道技术，是网络层的技术，不支持传输层的端口映射功能
			后端主机
				lvs主机linux系统
				Rs主机无所谓。