在腾讯云容器服务上添加外部 DNS 服务器

概述

腾讯云容器服务在kubernetes平台的基础上做了大量和腾讯云IAAS紧密结合的工作,比如集群创建时直接创建k8s集群、集群内的容器使用VPC网络的IP,容器数据卷使用CBS、ingress直接使用腾讯云的LB等,通过这些工作大大降低了客户搭建和使用k8s集群的门槛,同时因为和IAAS的紧密结合,某些性能如网络会比自己搭建flannel等开源软件要好很多。

目前,腾讯云容器服务已经有很多客户在使用,客户在使用腾讯云容器服务的过程中,常见的一个问题是客户应用除了依赖k8s的服务发现外,还有部分应用需要使用客户自己的DNS服务器。针对这种情况,本文先介绍k8s-dns的原理,然后再具体说明添加外部DNS服务器的步骤。后续我们将把这个功能做到产品中来,支持客户通过控制台来添加外部DNS服务器。

k8s-dns介绍

为什么k8s需要dns服务

k8s给每个服务都分配了vip,通过vip可以访问和该服务关联的pod,应用无需关心pod的实例个数,vip会自动做负载均衡。如果一个服务要访问另外一个服务,如何知道另外一个服务对应的vip呢?

目前有两种方式:

  1. 通过环境变量,每个pod启动的时候,kubelet会把所有的服务以环境变量的形式注入到对应的容器,在容器中可以通过环境变量获取到对应服务的VIP,这种做法带来的缺点就是容器只能获取到比它早启动的服务VIP。
  2. 通过kuberntes内置的dns服务,服务之间通过服务名称访问,这个dns服务在k8s里面的名字为kube-dns,位于kube-system的命名空间。kubelet启动的时候通过 --cluster-dns参数指定kube-dns的VIP,这样后续创建的pod都会在对应容器的/etc/resolv.conf文件中生成一条nameserver指向kube-dns VIP的记录,从而保证所有k8s创建的容器,DNS服务器都使用kube-dns。

kube-dns服务组成

kube-dns服务对应的pod包含3个容器:

  • kubedns:监控k8s服务资源并更新DNS记录
  • dnsmasq:提供DNS缓存,缓存中的数据通过查询kubedns获取
  • exechealthz:定期检查kubedns和dnsmasq的健康状态,并提供dns服务是否健康的HTTP的api

这三个容器的之间的关系如下:

添加外部DNS服务器的操作原理

添加外部DNS服务器的原理是利用dnsmasq的启动参数,在dnsmasq的启动参数中,有个叫server的参数,通过server参数可以指定上游的dns服务器,在kube-dns的deployment yaml文件中,dnsmasq容器将kubedns容器作为其上游dns服务器,这个关系也是通过server参数指定的,下面的yaml文件中,kubedns容器绑定的端口为10053,dnsmasq容器通过"-server=127.0.0.1#10053"指向kube-dns。同样的方法也可以用于添加外部DNS服务器,只需修改kube-dns服务中dnsmasq的启动参数即可。

containers:
 - args:
   - --domain=cluster.local.
   - --dns-port=10053
   - --config-map=kube-dns
   - --v=0
   image: ccr.ccs.tencentyun.com/library/kubedns-amd64:1.9
   name: kubedns
   ports:
   - containerPort: 10053
     name: dns-local
     protocol: UDP
   - containerPort: 10053
     name: dns-tcp-local
     protocol: TCP
   - containerPort: 10055
     name: metrics
     protocol: TCP
- args:
  - --cache-size=500
  - --no-resolv
  #默认的域名解析服务器使用上面的kubedns容器,因为在一个pod里所以直接用127.0.0.1的ip地址,kubedns容器的端口为10053
  - --server=127.0.0.1#10053
  #域名以google.com结尾的使用192.168.10.2作为域名解析服务器
  - --server=/google.com/192.168.10.2
  - --log-facility=-
  image: ccr.ccs.tencentyun.com/library/kube-dnsmasq-amd64:1.4.1

添加外部hosts的操作原理

dnsmasq的启动参数除了server参数外,还有一个address的参数,通过该参数可以添加IP和hostname的映射关系,类似于docker run的--add-host参数,--add-host的效果是在容器的/etc/hosts插入ip和hostanme的记录,在k8s中没有这样的参数,如果碰到客户要在pod中加入ip和主机名的映射关系,用dnsmsq的address参数可以实现该功能。

在腾讯云容器服务上添加自定义dns服务器操作步骤

1、先登录到一台容器主机,将kube-dns的yaml文件保存下来

注:kubernetes 1.4.6版本kube-dns名称为k8s-dns, kubernetes 1.7.8为kube-dns

kubectl get deployment kube-dns -n kube-system -o yaml > kubedns.yaml

2、修改kubedns.yaml文件,找到kube-dnsmasq-amd64的镜像位置,在其启动参数中做修改,原来的参数如下:

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --log-facility=-

如果这个时候要添加2个外部的dns服务器,对应的yaml文件修改如下,修改内容就是加了两个--server的启动参数:

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --server=/internal.thekelleys.org.uk/192.168.1.1
     - --server=/google.com/192.168.2.1
     - --log-facility=-

如果这时需要添加主机名和IP的对应关系,可以通过添加--address参数实现:

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --address=/www.test1.com/192.168.10.2
     - --server=/www.test2.com/192.168.10.3
     - --log-facility=-

3、使用修改后的yaml文件执行kubectl apply使配置生效

kubectl apply -f kubedns.yaml

4、验证添加的自定义dns服务器是否在容器里生效,验证方法有很多种,可以通过在服务里使用dig或nslookup命令来看;也可以直接通过某个依赖于该自定义dns的应用服务来验证。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏有趣的Python

23- vue django restful framework 打造生鲜超市 - 通过docker实现sentry搭建错误日志监控系统

Django2.0.2(Django-rest-framework)以及前端vue开发的前后端分离的商城网站 线上演示地址: http://vueshop.mt...

37510
来自专栏gaoqin31

redis故障记录

最近线上的redis出现无法访问的现象,redis-cli能进入,但是任何命令都提示需要密码验证,以前一直都没有设置密码的,重启redis后正常,没过多久又出现...

2662
来自专栏码字搬砖

CDH Disk Balancer 磁盘数据均衡

由于数据量过多,磁盘大小太小,导致磁盘使用率高达90%以上,于是新增磁盘,可问题来了,如何将这两块磁盘上的数据进行均衡呢? hadoop在2.X中已经有相应...

2651
来自专栏夏时

用PHP读写文本文档制作最简单的访问计数器

1482
来自专栏主机笔记

安装cloudready把老电脑变成一台chromebook

Chromebook是Google推出的网络笔记本,整个系统相当于一个独立的chrome浏览器,可以实现大部分的功能,只有chrome浏览器也节省了很多不必要的...

72211
来自专栏jeremy的技术点滴

试用WebVirtMgr

3925
来自专栏CSDN技术头条

DC/OS 的安装与部署

2016年4月,Mesosphere开源了他们开发的DC/OS (数据中心操作系统),引起了广泛的关注,虽然开源版本和他们的企业版本应该还有一些差距,但是我们仍...

5187
来自专栏皮振伟的专栏

[qemu][seccomp]虚拟化安全sandbox技术分析

前言: libvirt-4.3搭配qemu-2.12使用,如果使用默认的编译选项,可能会让qemu无法正常启动虚拟机。会报出来“qemu-system-x86_...

2461
来自专栏IT综合技术分享

在Ubuntu16.04 Server中安装tomcat9+jdk1.8+apr

系统:Ubuntu16.04.3 server 需要的安装包: tomcat9: https://tomcat.apache.org/download-90...

1963
来自专栏Linyb极客之路

微服务之服务编排浅析

1082

扫码关注云+社区

领取腾讯云代金券