k8s 网络转发问题记录

问题概述

环境：内网服务器k8s上部署了服务端、openresty前端，通过公网服务器转发到内网的nginx对应端口。

问题：公网ip进行发送请求，后端拿取请求头源IP地址丢失。

思考：考虑是k8s 自带负载均衡进行了转发到不同的Node。

对于NodePort 类型的 service 而言，有一个参数是 externalTrafficPolicy=Local

附： 官方文档

即 service.spec.externalTrafficPolicy=Local

刚好最近机缘巧合之下对这个参数了解了一下，于是把我的个人理解写在这里，分享给大家

前言

对于Service, 如果指定类型为 NodePort, 那么这个端口会在集群的所有 Node 上打开，即使这个Node 上面没有这个pod (很好理解，和守护进程集不一样，对于Deployment 来说，很少会在每个节点上都启动pod，所以必定有一些节点上没有这个pod)

引出一个问题，当某个节点上没有pod的时候，又去访问ta的这个NodePort,能访问到吗？

答案是可以的。

流程1：（使用cluster）

          client
              \ ^
               \ \
                v \
   node 1 <--- node 2
    | ^   SNAT
    | |   --->
    v |
 endpoint

externalTrafficPolicy使用Cluster 网络流程：

Client 发送TCP 包到node2：nodeport

node2 将Client 源IP 地址进行替换为node2 的IP 地址

node2 将请求目的地ip替换为podIP

tcp包被路由到node1，然后到达endpoint

pod实际响应被路由到node2

node2把pod的响应在转发给客户端

在中间相当于在node2中进行了网络转换，源ip信息被遗失掉了。

流程2：（使用Local）

在k8s 中，提供了保留源IP 信息的功能，即设置externalTrafficPolicy=Local

为Local时的网络流程

        client
        ^ /   \
       / /     \
      / v       X
   node 1     node 2
    ^ |
    | |
    | v
 endpoint

client sends packet to node2:nodePort, which doesn’t have any endpoints 客户端发送tcp包到 node2:nodePort, 但是 node2 并没有 这个pod

packet is dropped tcp包被丢弃client sends packet to node1:nodePort, which does have endpoints 客户端发送数据包到 node1:nodePort, node1有pod

node1 routes packet to endpoint with the correct source IP node1 把包路由到对应的pod，那么pod 就可以拿到正确的客户端源IP地址

总结

即使用Local模式，在请求过来的时候，如果node没有对应pod，则会将tcp的包丢弃掉。

而Cluster模式则会进行内部路由，内部转发请求到对应node 的pod 上。