在腾讯云容器服务上添加外部 DNS 服务器

概述

腾讯云容器服务在kubernetes平台的基础上做了大量和腾讯云IAAS紧密结合的工作,比如集群创建时直接创建k8s集群、集群内的容器使用VPC网络的IP,容器数据卷使用CBS、ingress直接使用腾讯云的LB等,通过这些工作大大降低了客户搭建和使用k8s集群的门槛,同时因为和IAAS的紧密结合,某些性能如网络会比自己搭建flannel等开源软件要好很多。

目前,腾讯云容器服务已经有很多客户在使用,客户在使用腾讯云容器服务的过程中,常见的一个问题是客户应用除了依赖k8s的服务发现外,还有部分应用需要使用客户自己的DNS服务器。针对这种情况,本文先介绍k8s-dns的原理,然后再具体说明添加外部DNS服务器的步骤。后续我们将把这个功能做到产品中来,支持客户通过控制台来添加外部DNS服务器。

k8s-dns介绍

为什么k8s需要dns服务

k8s给每个服务都分配了vip,通过vip可以访问和该服务关联的pod,应用无需关心pod的实例个数,vip会自动做负载均衡。如果一个服务要访问另外一个服务,如何知道另外一个服务对应的vip呢?

目前有两种方式:

  1. 通过环境变量,每个pod启动的时候,kubelet会把所有的服务以环境变量的形式注入到对应的容器,在容器中可以通过环境变量获取到对应服务的VIP,这种做法带来的缺点就是容器只能获取到比它早启动的服务VIP。
  2. 通过kuberntes内置的dns服务,服务之间通过服务名称访问,这个dns服务在k8s里面的名字为kube-dns,位于kube-system的命名空间。kubelet启动的时候通过 --cluster-dns参数指定kube-dns的VIP,这样后续创建的pod都会在对应容器的/etc/resolv.conf文件中生成一条nameserver指向kube-dns VIP的记录,从而保证所有k8s创建的容器,DNS服务器都使用kube-dns。

kube-dns服务组成

kube-dns服务对应的pod包含3个容器:

  • kubedns:监控k8s服务资源并更新DNS记录
  • dnsmasq:提供DNS缓存,缓存中的数据通过查询kubedns获取
  • exechealthz:定期检查kubedns和dnsmasq的健康状态,并提供dns服务是否健康的HTTP的api

这三个容器的之间的关系如下:

添加外部DNS服务器的操作原理

添加外部DNS服务器的原理是利用dnsmasq的启动参数,在dnsmasq的启动参数中,有个叫server的参数,通过server参数可以指定上游的dns服务器,在kube-dns的deployment yaml文件中,dnsmasq容器将kubedns容器作为其上游dns服务器,这个关系也是通过server参数指定的,下面的yaml文件中,kubedns容器绑定的端口为10053,dnsmasq容器通过"-server=127.0.0.1#10053"指向kube-dns。同样的方法也可以用于添加外部DNS服务器,只需修改kube-dns服务中dnsmasq的启动参数即可。

containers:
 - args:
   - --domain=cluster.local.
   - --dns-port=10053
   - --config-map=kube-dns
   - --v=0
   image: ccr.ccs.tencentyun.com/library/kubedns-amd64:1.9
   name: kubedns
   ports:
   - containerPort: 10053
     name: dns-local
     protocol: UDP
   - containerPort: 10053
     name: dns-tcp-local
     protocol: TCP
   - containerPort: 10055
     name: metrics
     protocol: TCP
- args:
  - --cache-size=500
  - --no-resolv
  #默认的域名解析服务器使用上面的kubedns容器,因为在一个pod里所以直接用127.0.0.1的ip地址,kubedns容器的端口为10053
  - --server=127.0.0.1#10053
  #域名以google.com结尾的使用192.168.10.2作为域名解析服务器
  - --server=/google.com/192.168.10.2
  - --log-facility=-
  image: ccr.ccs.tencentyun.com/library/kube-dnsmasq-amd64:1.4.1

添加外部hosts的操作原理

dnsmasq的启动参数除了server参数外,还有一个address的参数,通过该参数可以添加IP和hostname的映射关系,类似于docker run的--add-host参数,--add-host的效果是在容器的/etc/hosts插入ip和hostanme的记录,在k8s中没有这样的参数,如果碰到客户要在pod中加入ip和主机名的映射关系,用dnsmsq的address参数可以实现该功能。

在腾讯云容器服务上添加自定义dns服务器操作步骤

1、先登录到一台容器主机,将kube-dns的yaml文件保存下来

注:kubernetes 1.4.6版本kube-dns名称为k8s-dns, kubernetes 1.7.8为kube-dns

kubectl get deployment kube-dns -n kube-system -o yaml > kubedns.yaml

2、修改kubedns.yaml文件,找到kube-dnsmasq-amd64的镜像位置,在其启动参数中做修改,原来的参数如下:

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --log-facility=-

如果这个时候要添加2个外部的dns服务器,对应的yaml文件修改如下,修改内容就是加了两个--server的启动参数:

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --server=/internal.thekelleys.org.uk/192.168.1.1
     - --server=/google.com/192.168.2.1
     - --log-facility=-

如果这时需要添加主机名和IP的对应关系,可以通过添加--address参数实现:

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --address=/www.test1.com/192.168.10.2
     - --server=/www.test2.com/192.168.10.3
     - --log-facility=-

3、使用修改后的yaml文件执行kubectl apply使配置生效

kubectl apply -f kubedns.yaml

4、验证添加的自定义dns服务器是否在容器里生效,验证方法有很多种,可以通过在服务里使用dig或nslookup命令来看;也可以直接通过某个依赖于该自定义dns的应用服务来验证。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

Redis未授权访问配合SSH key文件利用分析

1.更新情况 ? 2.漏洞概述 Redis默认情况下,会绑定在0.0.0.0:6379,这样将会将Redis服务暴露到公网上,如果在没有开启认证的情况下,可以导...

2586
来自专栏皮振伟的专栏

[qemu][seccomp]虚拟化安全sandbox技术分析

前言: libvirt-4.3搭配qemu-2.12使用,如果使用默认的编译选项,可能会让qemu无法正常启动虚拟机。会报出来“qemu-system-x86_...

1501
来自专栏小夜博客

Linux最常用的几个命令

2807
来自专栏bdcn

在Portainer中部署Docker监控系统(cAdvisor+InfluxDB+Grafana)

在Coreos系统中我们一般利用Portainer容器来管理Docker,可以看我的其他文章(coreos和portainer都有讲到过)

812
来自专栏主机笔记

windows2003为iis添加伪静态规则

最近开始使用一个新的cms,网站由于是基于thinkphp开发的,而服务器还是古老的windows2003,所以一些伪静态的问题导致网站始终安装不成功。 可能以...

2698
来自专栏Linyb极客之路

微服务之服务编排浅析

922
来自专栏编程坑太多

『中级篇』docker的数据持久化存储和数据共享(32)

PS:源码https://github.com/limingios/docker No.3 方便学习数据持久化存储

812
来自专栏gaoqin31

redis故障记录

最近线上的redis出现无法访问的现象,redis-cli能进入,但是任何命令都提示需要密码验证,以前一直都没有设置密码的,重启redis后正常,没过多久又出现...

1762
来自专栏主机笔记

安装cloudready把老电脑变成一台chromebook

Chromebook是Google推出的网络笔记本,整个系统相当于一个独立的chrome浏览器,可以实现大部分的功能,只有chrome浏览器也节省了很多不必要的...

60211
来自专栏自由而无用的灵魂的碎碎念

通过几种方式来查看windows vista的激活状态

但在windows vista下就不管用了,不信你试试,弹出的应该是设置时区、时间的系统初始安装界面。

1033

扫码关注云+社区