k8s集群网络(8)-service之ipvs node port实现原理

在上一篇文章中我们介绍了基于ipvs的cluster ip类型service的实现原理，本质上是在iptable的PREROUTING chain以及相关target中利用ipset来匹配cluster ip，完成对即将做MASQUERADE伪装的items的mark标记，同时结合ipset也减少了iptable中的entry数量。另外在host network namespace里创建kube-ipvs0网络设备，绑定所有cluster ip，保证网络数据包可以进入INPUT chain。在INPUT chain中ipvs利用映射规则(可由ipvsadm查看该规则)完成对cluster ip的DNAT和目标pod endpoints选择的负载均衡，然后直接把数据送入POSTROUTING chain。当数据包进入POSTROUTING chain，经过相关的iptable target，匹配在PREROUTING chain中的mark标记，完成MASQUERADE伪装(SNAT host的ip地址)。最后数据包根据host network namespace的路由表做下一跳路由选择。在这里我们主要介绍基于ipvs的node port类型service的实现原理，如果对上一篇文章内容有所理解，那么这里也比较简单。

我们这里是介绍node port类型的service，所以我们基于以前文章里安装的应用，显示k8s集群中的node port service：

kubectl get service --all-namespaces

对于node port类型的service来说，访问host的port就访问到了这个服务。所以从host网络角度来看，当host收到数据包的时候应该是进入host network namespace的PREROUTING chain中，我们查看这个chain：

iptables -nL -t nat

查看KUBE-SERVICES这个target：

iptables -nL -t nat

根据以前文章，在KUBE-SERVICES target，node port数据包不会匹配ipset KUBE-CLUSTER-IP。因为node port是host的ip地址和目标port，并不在ipset KUBE-CLUSTER-IP中，那么这样数据就进入了KUBE-NODE-PORT。

查看KUBE-NODE-PORT target：

iptables -nL -t nat

我们发现KUBE-NODE-PORT target来匹配KUBE-NODE-PORT-TCP这个ipset，然后进入到KUBE-MARK-MASQ这个target中，我们查看KUBE-NODE-PORT-TCP ipset。

查看KUBE-NODE-PORT-TCP ipset：

kubectl get service --all-namespaces
ipset list KUBE-NODE-PORT-TCP

这里我们看到KUBE-NODE-PORT-TCP这个ipset里一共有3个entry，而且也匹配了集群中node port类型service的端口。我们继续查看KUBE-MARK-MASQ这个target。

查看KUBE-MARK-MASQ target：

iptables -nL -t nat

匹配KUBE-NODE-PORT-TCP这个ipset的items(也就是node port类型的service)会进入到KUBE-MARK-MASQ这个target中，这个target是对所有的items做了mark标记。

经过了PREROUTING chain以及相关的target之后数据会来到INPUT chain，这是因为数据包的目标ip地址为host的ip地址。对于k8s集群的ipvs负载均衡来说，其核心工作就是在INPUT chain，采用NAT模式(http://www.linuxvirtualserver.org/VS-NAT.html)，linux操作系统网络内核会对目标ip来做转DNAT换。这里我们以service-kube-dashboard做为例子，它的node port为9092，cluster ip是10.254.32.107，我们查看ipvs如何做DNAT

kubectl describe service service-kube-dashboard --namespace kube-system
ipvsadm -L

我们看到service-kube-dashboard node port为9092，对应一个endpoint10.1.86.5:8443。然后通过ipvsadm工具查看确实是ipvs将host ip(172.20.11.43)的9092端口其映射成这个endpoint。

ipvs在INPUT chain完成上述DNAT操作，然后将数据送入POSTROUTING chain，我们查看这个chain。

iptables -nL -t nat

这里我们发现数据在POSTROUTING chain会进入KUBE-POSTROUTING这个target中。

查看KUBE-POSTROUTING target：

iptables -nL -t nat

这里我们发现是对数据包做了MASQUERADE伪装，并且匹配的就是在KUBE-MARK-MASQ target中做的标记，也就是用下一跳路由所使用网路设备的ip做了SNAT操作。所以到这里我们的数据包源ip为下一跳路由所使用网路设备的ip，目标ip为10.1.86.5，然后根据host network namespace的路由表做下一跳路由选择。

总结对于ipvs下的cluster ip的通讯方式为：

• 数据包从host外部访问node port service的host端口，进入host的network namespace，源ip为外部 ip，源端口为随机端口，目标ip为host ip，目标port为node port。
• 数据包在host network namespace中进入PREROUTING chain。
• 在PREROUTING chain中经过匹配ipset KUBE-NODE-PORT-TCP做mask标记操作。
• 因为数据包的目标ip是host的ip地址，所以进入host network namespace的INPUT chain中。
• 数据在INPUT chain中被ipvs的内核规则修改(可由ipvsadm查看规则)，完成负载均衡和DNAT，然后将数据直接送入POSTROUTING chain。这时源ip为外部ip，源端口为随机端口，目标ip为映射选择的pod ip，目标port为映射选择的port。
• 数据在POSTROUTING chain中，经过KUBE-POSTROUTING target完成MASQUERADE SNAT。这时源ip为下一跳路由所使用网路设备的ip，源端口为随机端口，目标ip为映射选择的pod ip，目标port为映射选择的port。
• 数据包根据host network namespace的路由表做下一跳路由选择。