专栏首页腾讯云容器团队k8s夺命的5秒DNS延迟

k8s夺命的5秒DNS延迟

作者: 洪志国

超时问题

客户反馈从pod中访问服务时,总是有些请求的响应时延会达到5秒。正常的响应只需要毫秒级别的时延。

DNS 5秒延时

在pod中(通过nsenter -n tcpdump)抓包,发现是有的DNS请求没有收到响应,超时5秒后,再次发送DNS请求才成功收到响应。

在kube-dns pod抓包,发现是有DNS请求没有到达kube-dns pod, 在中途被丢弃了。

为什么是5秒? man resolv.conf可以看到glibc的resolver的缺省超时时间是5s。

丢包原因

经过搜索发现这是一个普遍问题。 根本原因是内核conntrack模块的bug。

Weave works的工程师Martynas Pumputis对这个问题做了很详细的分析: https://www.weave.works/blog/racy-conntrack-and-dns-lookup-timeouts

相关结论:

  • 只有多个线程或进程,并发从同一个socket发送相同五元组的UDP报文时,才有一定概率会发生
  • glibc, musl(alpine linux的libc库)都使用”parallel query”, 就是并发发出多个查询请求,因此很容易碰到这样的冲突,造成查询请求被丢弃
  • 由于ipvs也使用了conntrack, 使用kube-proxy的ipvs模式,并不能避免这个问题

问题的根本解决

Martynas向内核提交了两个patch来fix这个问题,不过他说如果集群中有多个DNS server的情况下,问题并没有完全解决。

其中一个patch已经在2018-7-18被合并到linux内核主线中: netfilter: nf_conntrack: resolve clash for matching conntracks

目前只有4.19.rc 版本包含这个patch。

规避办法

规避方案一:使用TCP发送DNS请求

由于TCP没有这个问题,有人提出可以在容器的resolv.conf中增加options use-vc, 强制glibc使用TCP协议发送DNS query。下面是这个man resolv.conf中关于这个选项的说明:

use-vc (since glibc 2.14)
                     Sets RES_USEVC in _res.options.  This option forces the
                     use of TCP for DNS resolutions.

笔者使用镜像”busybox:1.29.3-glibc” (libc 2.24) 做了试验,并没有见到这样的效果,容器仍然是通过UDP发送DNS请求。

规避方案二:避免相同五元组DNS请求的并发

resolv.conf还有另外两个相关的参数:

  • single-request-reopen (since glibc 2.9)
  • single-request (since glibc 2.10)

man resolv.conf中解释如下:

single-request-reopen (since glibc 2.9)
                     Sets RES_SNGLKUPREOP in _res.options.  The resolver
                     uses the same socket for the A and AAAA requests.  Some
                     hardware mistakenly sends back only one reply.  When
                     that happens the client system will sit and wait for
                     the second reply.  Turning this option on changes this
                     behavior so that if two requests from the same port are
                     not handled correctly it will close the socket and open
                     a new one before sending the second request.
                     
single-request (since glibc 2.10)
                     Sets RES_SNGLKUP in _res.options.  By default, glibc
                     performs IPv4 and IPv6 lookups in parallel since
                     version 2.9.  Some appliance DNS servers cannot handle
                     these queries properly and make the requests time out.
                     This option disables the behavior and makes glibc
                     perform the IPv6 and IPv4 requests sequentially (at the
                     cost of some slowdown of the resolving process).

笔者做了试验,发现效果是这样的:

  • single-request-reopen 发送A类型请求和AAAA类型请求使用不同的源端口。这样两个请求在conntrack表中不占用同一个表项,从而避免冲突。
  • single-request 避免并发,改为串行发送A类型和AAAA类型请求。没有了并发,从而也避免了冲突。

要给容器的resolv.conf加上options参数,有几个办法:

1) 在容器的”ENTRYPOINT”或者”CMD”脚本中,执行/bin/echo 'options single-request-reopen' >> /etc/resolv.conf
2) 在pod的postStart hook中:
lifecycle:
  postStart:
    exec:
      command:
      - /bin/sh
      - -c 
      - "/bin/echo 'options single-request-reopen' >> /etc/resolv.conf"
3) 使用template.spec.dnsConfig (k8s v1.9 及以上才支持):
template:
  spec:
    dnsConfig:
      options:
        - name: single-request-reopen
4) 使用ConfigMap覆盖POD里面的/etc/resolv.conf

configmap:

apiVersion: v1
data:
  resolv.conf: |
    nameserver 1.2.3.4
    search default.svc.cluster.local svc.cluster.local cluster.local ec2.internal
    options ndots:5 single-request-reopen timeout:1
kind: ConfigMap
metadata:
  name: resolvconf

POD spec:

        volumeMounts:
        - name: resolv-conf
          mountPath: /etc/resolv.conf
          subPath: resolv.conf
...

      volumes:
      - name: resolv-conf
        configMap:
          name: resolvconf
          items:
          - key: resolv.conf
            path: resolv.conf
5) 使用MutatingAdmissionWebhook

MutatingAdmissionWebhook 是1.9引入的Controller,用于对一个指定的Resource的操作之前,对这个resource进行变更。 istio的自动sidecar注入就是用这个功能来实现的。 我们也可以通过MutatingAdmissionWebhook,来自动给所有POD,注入以上3)或者4)所需要的相关内容。

以上方法中, 1)和2)都需要修改镜像, 3)和4)则只需要修改POD的spec, 能适用于所有镜像。不过还是有不方便的地方:

  • 每个工作负载的yaml都要做修改,比较麻烦
  • 对于通过helm创建的工作负载,需要修改helm charts

方法5)对集群使用者最省事,照常提交工作负载即可。不过初期需要一定的开发工作量。

规避方案三:使用本地DNS缓存

容器的DNS请求都发往本地的DNS缓存服务(dnsmasq, nscd等),不需要走DNAT,也不会发生conntrack冲突。另外还有个好处,就是避免DNS服务成为性能瓶颈。

使用本地DNS缓存有两种方式:

  • 每个容器自带一个DNS缓存服务
  • 每个节点运行一个DNS缓存服务,所有容器都把本节点的DNS缓存作为自己的nameserver

从资源效率的角度来考虑的话,推荐后一种方式。

实施办法

条条大路通罗马,不管怎么做,最终到达上面描述的效果即可。

POD中要访问节点上的DNS缓存服务,可以使用节点的IP。 如果节点上的容器都连在一个虚拟bridge上, 也可以使用这个bridge的三层接口的IP(在TKE中,这个三层接口叫cbr0)。 要确保DNS缓存服务监听这个地址。

如何把POD的/etc/resolv.conf中的nameserver设置为节点IP呢?

一个办法,是设置POD.spec.dnsPolicy为”Default”, 意思是POD里面的/etc/resolv.conf, 使用节点上的文件。缺省使用节点上的/etc/resolv.conf(如果kubelet通过参数–resolv-conf指定了其他文件,则使用–resolv-conf所指定的文件)。

另一个办法,是给每个节点的kubelet指定不同的–cluster-dns参数,设置为节点的IP,POD.spec.dnsPolicy仍然使用缺省值”ClusterFirst”。 kops项目甚至有个issue在讨论如何在部署集群时设置好–cluster-dns指向节点IP: https://github.com/kubernetes/kops/issues/5584

本文分享自微信公众号 - 腾讯云容器团队(gh_faa30cb2ba5b),作者:作者: 洪志国

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Registry 容器镜像服务端细节

    作者周宏宇,后台开发,目前负责腾讯云TKE的接入层网络组件(Ingress、Service)。在团队中负责接入层组件的技术方案、开发测试以及相关的服务技术支持。

    腾讯云原生
  • 揭秘!containerd 镜像文件丢失问题,竟是镜像生成惹得祸

    作者李志宇,腾讯云后台开发工程师,日常负责集群节点和运行时相关的工作,熟悉 containerd、docker、runc 等运行时组件。近期在为某位客户提供技术...

    腾讯云原生
  • 三年之久的 etcd3 数据不一致 bug 分析

    “ etcd 作为 Kubernetes 集群的元数据存储,是被业界广泛使用的强一致性 KV 存储,但近日被挖掘出一个存在 3 年之久的数据不一致 bug—...

    腾讯云原生
  • Kubernetes 踩坑分享: 部分 DNS 查询延迟

    客户反馈从pod中访问服务时,总是有些请求的响应时延会达到5秒。正常的响应只需要毫秒级别的时延。

    imroc
  • PhiloGL学习(2)——骚年,让我们荡起双桨

     前言 上一篇文章中简单介绍了PhiloGL框架如何上手、GLSL语言以及简单的绘制一个方块(见PhiloGL学习(1)——场景创建及二维方块加载)。本文很简单...

    魏守峰
  • DNS域名服务器,我们使用免费WIFI真的安全吗?

    KS Knowledge Sharing 知识分享 现在是资源共享的时代,同样也是知识分享的时代,如果你觉得本文能学到知识,请把知识与别人分享 DNS内...

    互扯程序
  • Cross validation with ShuffleSplit使用ShuffleSplit做交叉验证

    ShuffleSplit is one of the simplest cross validation techniques. This cross vali...

    到不了的都叫做远方
  • 《Node.js权威指南》:如何创建HTTP服务器

    在nodejs中可以很方便的创建服务器。nodejs提供了http模块和https模块,分别用于创建http服务器与http客户端、https服务器和https...

    前端_AWhile
  • 浅谈DNS

    什么叫域名解析 域名解析是把域名指向网站空间IP,让人们通过注册的域名可以方便地访问到网站一种服务。IP地址是网络上标识站点的数字地址,为了方便记忆,采用域名来...

    三丰SanFeng
  • 海尔正式发布COSMO平台,世界智能制造将要去哪?

    2月21日,就在2017工业互联网峰会上,海尔COSMO平台正式发布并对外提供社会化服务,这是中国首个也是最大的自主研发、自主创新的工业互联网平台,简单来说,它...

    曾响铃

扫码关注云+社区

领取腾讯云代金券