专栏首页YP小站K8S Pod 内抓包快速定位网络问题

K8S Pod 内抓包快速定位网络问题

前言

在使用 Kubernetes 时,可能会遇到一些网络问题。当通过检查配置与日志无法排查错误时,这时就需要抓取网络数据包,但是Pod内一般不会安装tcpdump命令,那有没有方法可以直接通过宿主机抓取Pod网络数据包?

当然有,本文介绍 nsenter 命令,能够进入Pod容器 net 命名空间。并且本文提供一个快速进入Pod容器 net 命名空间脚本,方便大家使用。

nsenter 使用参数

nsenter [options] [program [arguments]]

options:
-t, --target pid:指定被进入命名空间的目标进程的pid
-m, --mount[=file]:进入mount命名空间。如果指定了file,则进入file的命名空间
-u, --uts[=file]:进入uts命名空间。如果指定了file,则进入file的命名空间
-i, --ipc[=file]:进入ipc命名空间。如果指定了file,则进入file的命名空间
-n, --net[=file]:进入net命名空间。如果指定了file,则进入file的命名空间
-p, --pid[=file]:进入pid命名空间。如果指定了file,则进入file的命名空间
-U, --user[=file]:进入user命名空间。如果指定了file,则进入file的命名空间
-G, --setgid gid:设置运行程序的gid
-S, --setuid uid:设置运行程序的uid
-r, --root[=directory]:设置根目录
-w, --wd[=directory]:设置工作目录

如果没有给出program,则默认执行 $SHELL。

除了进入 net 命名空间,nsenter 还可以进入 mnt, uts, ipc, pid, user 命名空间,以及指定根目录和工作目录。

Pod 容器抓包演示

发现某个服务网络不通,建议把这个服务副本数调为1个Pod,并且找到这个副本Pod所在宿主机Pod名称

查看Pod所在 宿主机Pod名称

$ kubectl get pods -n test -o wide

登陆Pod所在 宿主机,创建一个 e_net.sh Shell 脚本。

$ vim e_net.sh
#!/usr/bin/env bash

function e_net() {
  set -eu
  pod=`kubectl get pod ${pod_name} -n ${namespace} -o template --template='{{range .status.containerStatuses}}{{.containerID}}{{end}}' | sed 's/docker:\/\/\(.*\)$/\1/'`
  pid=`docker inspect -f {{.State.Pid}} $pod`
  echo -e "\033[32m Entering pod netns for ${namespace}/${pod_name} \033[0m\n"
  cmd="nsenter -n -t ${pid}"
  echo -e "\033[32m Execute the command: ${cmd} \033[0m"
  ${cmd}
}

# 运行函数
pod_name=$1
namespace=${2-"default"}
e_net

脚本依赖命令:宿主机上需要已安装 kubectldockernsentersedecho 命令。

# 添加脚本执行权限
$ chmod +x e_net.sh

本例抓取 test 命名空间中 demo2-deployment-5f5f4fbd9b-92gd4 Pod 8080 端口请求包。

# 进入 Pod demo2-deployment-5f5f4fbd9b-92gd4 net 命名空间
$ ./e_net.sh demo2-deployment-5f5f4fbd9b-92gd4 test

# 下面是脚本执行完输出结果
 Entering pod netns for test/demo2-deployment-5f5f4fbd9b-92gd4

 Execute the command: nsenter -n -t 44762

现在使用 ip addr 或者 ifconfig 查看,发现网卡配置只有 demo2-deployment-5f5f4fbd9b-92gd4Pod 网卡配置。

$ ifconfig

使用 tcpdump 抓取 eth0 网卡上 80 端口 数据包。

$ tcpdump -nnnvv -As 0 -i eth0 port 80 -w demo2.pcap

tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes
63 packets captured
63 packets received by filter
0 packets dropped by kernel

下载 demo2.pcap 到本机,使用 wireshark 查看包。

原理

namespace 是Linux中一些进程属性的作用域,使用命名空间,可以隔离不同的进程。

Linux在不断的添加命名空间,目前有:

  • mount:挂载命名空间,使进程有一个独立的挂载文件系统,始于Linux 2.4.19
  • ipc:ipc命名空间,使进程有一个独立的ipc,包括消息队列,共享内存和信号量,始于Linux 2.6.19
  • uts:uts命名空间,使进程有一个独立的hostname和domainname,始于Linux 2.6.19
  • net:network命名空间,使进程有一个独立的网络栈,始于Linux 2.6.24
  • pid:pid命名空间,使进程有一个独立的pid空间,始于Linux 2.6.24
  • user:user命名空间,是进程有一个独立的user空间,始于Linux 2.6.23,结束于Linux 3.8
  • cgroup:cgroup命名空间,使进程有一个独立的cgroup控制组,始于Linux 4.6

Linux的每个进程都具有命名空间,可以在 /proc/PID/ns 目录中看到命名空间的文件描述符。

nsenter

nsenter 命令相当于在setns之上做了一层封装,使我们无需指定命名空间的文件描述符,而是指定进程号即可。

指定进程号PID以及需要进入的命名空间后,nsenter会帮我们找到对应的命名空间文件描述符/proc/PID/ns/FD,然后使用该命名空间运行新的程序。

参考链接

  • https://staight.github.io/2019/09/23/nsenter%E5%91%BD%E4%BB%A4%E7%AE%80%E4%BB%8B/
  • https://tencentcloudcontainerteam.github.io/tke-handbook/skill/capture-packets-in-container.html

本文分享自微信公众号 - YP小站(ypxiaozhan),作者:YP小站

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-06-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 根据 PID 获取 K8S Pod名称 - 反之 POD名称 获取 PID

    随着 Kubernetes 越来越火爆,运维人员排查问题难度越来越大。比如我们收到监控报警,某台 Kubernetes Node 节点负载高。通过 top 或者...

    YP小站
  • K8S node NotReady 后如何保证服务可用

    Node 是 Kubernetes 的工作节点,以前叫做 minion。取决于你的集群,Node 可以是一个虚拟机或者物理机器。每个 node 都有用于运行 p...

    YP小站
  • Calico 介绍、原理与使用

    Calico 是一套开源的网络和网络安全方案,用于容器、虚拟机、宿主机之前的网络连接,可以用在kubernetes、OpenShift、DockerEE、Ope...

    YP小站
  • 『互联网架构』调用链系统服务端实现(115)

    a. 初化一个限定容量的阻塞队列 b. 采集器抓取数据并上传至队列,超出容量直接丢弃 c. 线程池分配上传线程 d. 控制器取出指定数量数据,如果数量小于0线程...

    IT故事会
  • 移动端左滑右滑组件

    最近有个需求,移动端有导航,需要左滑右滑的时候就能切换导航,跟轮播一样的效果,但是轮播内容少,而且是一次性加载数据。而需求是很多类型,每个类型有非常多的列表,如...

    wade
  • 腾讯云服务器如何设置安全组?

    入站规则:表示允许到达与安全组相关联的云服务器的入站流量。 出站规则:表示离开云服务器的出站流量。

    云上云
  • [数据清洗]-Pandas 清洗“脏”数据(一)

    概要 准备工作 检查数据 处理缺失数据 添加默认值 删除不完整的行 删除不完整的列 规范化数据类型 必要的转换 ...

    数据分析
  • R中时间序列分析-趋势分析Trend

    趋势分析(Trend) 常用趋势的数学函数 线性函数 y=ax+b 指数函数 y=a^x 二次函数 y=ax^2+bx+c 曲线拟合方法 nls...

    Erin
  • JSONObject、JSONArray 原

    http://blog.csdn.net/lishuangzhe7047/article/details/28880009

    wuweixiang
  • 物联网安全领域的“研究点”与“切入点”

    物联网漏洞挖掘主要关注两个方面,一个是网络协议的漏洞挖掘,一个是嵌入式操作系统的漏洞挖掘。分别对应网络层和感知层,应用层大多采用云平台,属于云安全的范畴,可应用...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券