在腾讯云容器服务上添加外部 DNS 服务器

概述

腾讯云容器服务在kubernetes平台的基础上做了大量和腾讯云IAAS紧密结合的工作,比如集群创建时直接创建k8s集群、集群内的容器使用VPC网络的IP,容器数据卷使用CBS、ingress直接使用腾讯云的LB等,通过这些工作大大降低了客户搭建和使用k8s集群的门槛,同时因为和IAAS的紧密结合,某些性能如网络会比自己搭建flannel等开源软件要好很多。

目前,腾讯云容器服务已经有很多客户在使用,客户在使用腾讯云容器服务的过程中,常见的一个问题是客户应用除了依赖k8s的服务发现外,还有部分应用需要使用客户自己的DNS服务器。针对这种情况,本文先介绍k8s-dns的原理,然后再具体说明添加外部DNS服务器的步骤。后续我们将把这个功能做到产品中来,支持客户通过控制台来添加外部DNS服务器。

k8s-dns介绍

为什么k8s需要dns服务

k8s给每个服务都分配了vip,通过vip可以访问和该服务关联的pod,应用无需关心pod的实例个数,vip会自动做负载均衡。如果一个服务要访问另外一个服务,如何知道另外一个服务对应的vip呢?

目前有两种方式:

  1. 通过环境变量,每个pod启动的时候,kubelet会把所有的服务以环境变量的形式注入到对应的容器,在容器中可以通过环境变量获取到对应服务的VIP,这种做法带来的缺点就是容器只能获取到比它早启动的服务VIP。
  2. 通过kuberntes内置的dns服务,服务之间通过服务名称访问,这个dns服务在k8s里面的名字为kube-dns,位于kube-system的命名空间。kubelet启动的时候通过 --cluster-dns参数指定kube-dns的VIP,这样后续创建的pod都会在对应容器的/etc/resolv.conf文件中生成一条nameserver指向kube-dns VIP的记录,从而保证所有k8s创建的容器,DNS服务器都使用kube-dns。

kube-dns服务组成

kube-dns服务对应的pod包含3个容器:

  • kubedns:监控k8s服务资源并更新DNS记录
  • dnsmasq:提供DNS缓存,缓存中的数据通过查询kubedns获取
  • exechealthz:定期检查kubedns和dnsmasq的健康状态,并提供dns服务是否健康的HTTP的api

这三个容器的之间的关系如下:

添加外部DNS服务器的操作原理

添加外部DNS服务器的原理是利用dnsmasq的启动参数,在dnsmasq的启动参数中,有个叫server的参数,通过server参数可以指定上游的dns服务器,在kube-dns的deployment yaml文件中,dnsmasq容器将kubedns容器作为其上游dns服务器,这个关系也是通过server参数指定的,下面的yaml文件中,kubedns容器绑定的端口为10053,dnsmasq容器通过"-server=127.0.0.1#10053"指向kube-dns。同样的方法也可以用于添加外部DNS服务器,只需修改kube-dns服务中dnsmasq的启动参数即可。

containers:
 - args:
   - --domain=cluster.local.
   - --dns-port=10053
   - --config-map=kube-dns
   - --v=0
   image: ccr.ccs.tencentyun.com/library/kubedns-amd64:1.9
   name: kubedns
   ports:
   - containerPort: 10053
     name: dns-local
     protocol: UDP
   - containerPort: 10053
     name: dns-tcp-local
     protocol: TCP
   - containerPort: 10055
     name: metrics
     protocol: TCP
- args:
  - --cache-size=500
  - --no-resolv
  #默认的域名解析服务器使用上面的kubedns容器,因为在一个pod里所以直接用127.0.0.1的ip地址,kubedns容器的端口为10053
  - --server=127.0.0.1#10053
  #域名以google.com结尾的使用192.168.10.2作为域名解析服务器
  - --server=/google.com/192.168.10.2
  - --log-facility=-
  image: ccr.ccs.tencentyun.com/library/kube-dnsmasq-amd64:1.4.1

添加外部hosts的操作原理

dnsmasq的启动参数除了server参数外,还有一个address的参数,通过该参数可以添加IP和hostname的映射关系,类似于docker run的--add-host参数,--add-host的效果是在容器的/etc/hosts插入ip和hostanme的记录,在k8s中没有这样的参数,如果碰到客户要在pod中加入ip和主机名的映射关系,用dnsmsq的address参数可以实现该功能。

在腾讯云容器服务上添加自定义dns服务器操作步骤

1、先登录到一台容器主机,将kube-dns的yaml文件保存下来

注:kubernetes 1.4.6版本kube-dns名称为k8s-dns, kubernetes 1.7.8为kube-dns

kubectl get deployment kube-dns -n kube-system -o yaml > kubedns.yaml

2、修改kubedns.yaml文件,找到kube-dnsmasq-amd64的镜像位置,在其启动参数中做修改,原来的参数如下:

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --log-facility=-

如果这个时候要添加2个外部的dns服务器,对应的yaml文件修改如下,修改内容就是加了两个--server的启动参数:

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --server=/internal.thekelleys.org.uk/192.168.1.1
     - --server=/google.com/192.168.2.1
     - --log-facility=-

如果这时需要添加主机名和IP的对应关系,可以通过添加--address参数实现:

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --address=/www.test1.com/192.168.10.2
     - --server=/www.test2.com/192.168.10.3
     - --log-facility=-

3、使用修改后的yaml文件执行kubectl apply使配置生效

kubectl apply -f kubedns.yaml

4、验证添加的自定义dns服务器是否在容器里生效,验证方法有很多种,可以通过在服务里使用dig或nslookup命令来看;也可以直接通过某个依赖于该自定义dns的应用服务来验证。

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT可乐

Linux系列教程(十五)——Linux用户和用户组管理之用户管理命令

  上篇博客我们介绍了用户管理的相关配置文件,包括用户信息文件/etc/passwd,用户密码文件/etc/shadow;然后介绍了用户组信息文件/etc/gr...

1929
来自专栏Java后端生活

将代码托管到GitHub上

1634
来自专栏吴伟祥

HuGo+Gitlab+netify 原

653
来自专栏Java成神之路

Java_脚本引擎_02_在Idea中进行Nashorn的Debug

这一节我们来看下怎么在idea中进行Nashorn的Debug ,又或者说怎么在Idea中进行js的Debug

894
来自专栏L宝宝聊IT

Web网站服务(Apache的安装)

1374
来自专栏懒人开发

Centos上phpstudy搭建

自己最近也没有怎么弄过linux了 一些原因,自己买了一个Centos的腾讯云服务器 既然买了玩玩,就不要放着了 自己搭建一个php的集成环境 向所有认...

853
来自专栏听雨堂

Python安装模块

一直以来,只会用Python –m pip install ***,在线安装,方便省事。 但有时安装包巨大,而且网络慢的情况,就不行了。今天试着用pip安装。 ...

1859
来自专栏Duncan's Blog

在非root用户下安装mpi4py

安装mpi4py所需要的依赖包(python2.7版本/Cpython/Openmpi) 1.源码包安装Python2.7版本

601
来自专栏张善友的专栏

使用密码记录工具keepass来保存密码

在第一章,曾经给过您建议,密码不要保存在文档中,那样不安全,如果密码很多而且又很复杂,人的大脑是不可能很容易记住的,只能记录下来,如果不能记在文档中那记在哪里呢...

2819
来自专栏主机笔记

安装chevereto程序搭建自己的图片分享站点

几台服务器闲置着,一直想着自建一个图床,趁着这次chevereto黑五50%优惠买了付费版,今天就在服务器上安装chevereto这个图床系统 cheveret...

3385

扫码关注云+社区