专栏首页01ZOOAnsible for k8s
原创

Ansible for k8s

用 ansible 来创建 k8s,这类项目已经很多了,在 github 上面随意可以搜到很多,而这篇文章主要介绍的是如果用 ansible 来做日常的 k8s 运维和开发部署。

本文中的例子可以在 https://github.com/u2takey/ansible-k8s 找到

helm 和 kustomize 的问题

从我第一次使用 helm 就觉得这个东西的设计实在古怪:

  • 一个包(配置)管理工具依赖服务端(tiller)
  • 做的事情很简单,设计却过于复杂(看看 helm 有多少命令和参数就知道了)
  • template 可读性很差,表达能力却很弱(受制于go-template的表达能力)
  • 99% 的用户不会安装 tiller, 只是拿来做 template 渲染工具,但是就算作为一个简单的渲染工具,helm也不好用
  • 其他缺陷:参考

后来出现了 kustomize,kustomize的设计并不依赖服务端,而是想做好本地渲染,然而几次使用之后发现,kustomize 显然还是失败了

  • kustomize 的设计有点像 ansible了,然而表达能力还是很差,设计却过于复杂
  • 作为了一个 yaml 工具,kustomize 带了太多k8s属性,比如 kustomize 了解什么是 images,什么是 configmap,这个设计显然不够灵活
  • 如果 kustomize (很有希望的)像ansible好好学习,能做好一个专用领域的 ansible 工具,易用性能肯定能好很多

求助于 ansible

关于运维和部署,ansible已经积累了太多经验,虽然本质上 ansible 最初的设计还是针对 "hosts", 并不是针对集群,ansible的 k8s module 质量也参差不齐,但是尽管如此,使用时候你会发现,ansible 在运维 k8s 的能力上还是很强。

用 ansible 部署 k8s 集群

这部分不是本文的重点,ansible 部署 k8s 是比较常见的 k8s 部署方式,这里给几个 star 比较高的项目,不再细述。

用 ansible 运维 k8s 服务

ansible 主要可以使用 k8s 模块来管理 k8s 资源

比如创建一个 namespace,可以使用下面的写法

- name: Create a k8s namespace
  k8s:
    name: testing
    api_version: v1
    kind: Namespace
    state: present

创建 service 的写法

- name: Create a Service object from an inline definition
  k8s:
    state: present
    definition:
      apiVersion: v1
      kind: Service
      metadata:
        name: web
        namespace: testing
        labels:
          app: galaxy
          service: web
      spec:
        selector:
          app: galaxy
          service: web
        ports:
        - protocol: TCP
          targetPort: 8000
          name: port-8000-tcp
          port: 8000

上面的这种 inline 的写法实际上可读性比较差,更推荐使用 src(读取文件) 或者 definition + lookup + template 语句的办法来创建资源,ansible 的 template 使用 jinja2 来渲染,表达能力很强。

- name: Create a Deployment by reading the definition from a local file
  k8s:
    state: present
    src: /testing/deployment.yml

- name: Read definition file from the Ansible controller file system after Jinja templating
  k8s:
    state: present
    definition: "{{ lookup('template', '/testing/deployment.yml.j2') }}"

一个完整的例子

下面我们看一个完整的例子,这个例子里面我们有两个集群,分别叫 4lr4c3wx8keawqnz, 并且我们在本地的 admin.conf 里面加入了这两个 context, 所以我们不用在 ansible config里面添加相关密钥信息。

  • 使用 ansible-galaxy 初始化 role
➜ ansible-galaxy role init nginx

➜ ll nginx
.rw-r--r-- 1.3k leiwang  4 Jan 15:11 README.md
drwxr-xr-x    - leiwang  4 Jan 15:11 defaults
drwxr-xr-x    - leiwang  4 Jan 15:11 files
drwxr-xr-x    - leiwang  4 Jan 15:11 handlers
drwxr-xr-x    - leiwang  4 Jan 15:11 meta
drwxr-xr-x    - leiwang  4 Jan 15:11 tasks
drwxr-xr-x    - leiwang  4 Jan 15:13 templates
drwxr-xr-x    - leiwang  4 Jan 15:11 tests
drwxr-xr-x    - leiwang  4 Jan 15:11 vars
  • 修改 host 和 ansible.cfg, 指向两个集群.
# ansible.cfg
[defaults]
inventory = hosts.ini
host_key_checking = False

pipelining = True
gathering = smart
fact_caching = jsonfile
fact_caching_timeout = 86400
fact_caching_connection = /tmp/ansible_fact_cache
forks = 20

# host
[test]
4lr4c3wx context=4lr4c3wx 
8keawqnz context=8keawqnz 

[test:vars]
ansible_connection=local 
ansible_python_interpreter=~/miniconda3/bin/python
  • 修改 task/main.yml, 这里我们编写两个任务,一是操作 namespace, 二是创建 nginx deployment 和 service,支持 namespace 和 state 参数,支持 state也就是说 支持创建或者删除,对 namespace的操作加上 ignore_errors, 因为创建或者删除 namespace 时可能会报错,我们希望忽略这种错误。
---
- debug: var=context
- name: set namespace {{ namespace }} to {{ state }}
  k8s:
    context: "{{ context }}"
    api_version: v1
    kind: Namespace
    name: "{{ namespace }}"
    state: "{{ state }}"
  ignore_errors: true
- name: set nginx deployment to {{ state }}
  k8s:
    context: "{{ context }}"
    state: "{{ state }}"
    definition: "{{ lookup('template', 'nginx.yml.j2') | from_yaml_all | list  }}"
    namespace: "{{ namespace }}"
  • nginx.yml.j2 里nginx deployment和service,实际上这两个 object 分开会更好,这里放在一起只是为了演示,如果放在一起应该用 from_yaml_all + list filter来处理
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nginx
  namespace: {{ namespace }}
  labels:
    version: v2
spec:
 # 略
---
apiVersion: v1
kind: Service
metadata:
  name: nginx
  namespace: {{ namespace }}
spec:
  # 略
  • playbook include 刚刚编写的 nginx role
---
- name: example k8s playbook
  hosts: test
  vars:
    namespace: default
  roles:
  - nginx
  • 运行 playbook
➜ ansible-playbook main.yml

PLAY [example k8s playbook] *********************************************************************************************************************************************************

TASK [Gathering Facts] **************************************************************************************************************************************************************
ok: [test_cluster_2]
ok: [test_cluster_1]

TASK [nginx : debug] ****************************************************************************************************************************************************************
ok: [test_cluster_1] => {
    "context": "4lr4c3wx"
}
ok: [test_cluster_2] => {
    "context": "8keawqnz"
}

TASK [nginx : set namespace default to present] *************************************************************************************************************************************
ok: [test_cluster_1]
ok: [test_cluster_2]

TASK [nginx : set nginx deployment to present] **************************************************************************************************************************************
changed: [test_cluster_1]
changed: [test_cluster_2]

PLAY RECAP **************************************************************************************************************************************************************************
test_cluster_1             : ok=4    changed=1    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0
test_cluster_2             : ok=4    changed=1    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0
  • 使用 kubectl 验证效果,发现两个集群的 nginx deployment和service都已经创建出来了
  • clean up: 使用 state=absent 清理刚刚创建的资源
➜ ansible-playbook main.yml -e "state=absent"

用 ansible 来开发 operator

  • ansible 不仅仅可以做简单的运维,甚至可以帮助开发 operator. operator或者controller的主要逻辑是 使某种 API Object 成为他预期的状态,ansible 的逻辑也是如此,虽然没有直接用golang 开发的operator 灵活,但是使用 ansible 开发,不用编写一行代码,开发部署效率还是很高的。
  • 使用 ansible 开发 operator 依赖 operator-sdk
  • operator-sdk 和 kubebuilder 的对比在这里,其中和这篇文章有关的区别是 operator-sdk 支持ansible。

一个完整的例子

这个完整的例子里面,我们创建一个 crd Nginx, 这个Nginx 对应了一个 Nginx deployment和 一个service

  • 安装 operator-sdk,过程略➜ operator-sdk new nginx-operator \ --api-version=nginx.operator.t.io/v1 \ --kind=Nginx \ --type=ansible INFO[0000] Creating new Ansible operator 'nginx-operator'. INFO[0000] Created deploy/service_account.yaml INFO[0000] Created deploy/role.yaml INFO[0000] Created deploy/role_binding.yaml INFO[0000] Created deploy/crds/nginx.operator.t.io_nginxes_crd.yaml INFO[0000] Created deploy/crds/nginx.operator.t.io_v1_nginx_cr.yaml INFO[0000] Created build/Dockerfile INFO[0000] Created roles/nginx/README.md INFO[0000] Created roles/nginx/meta/main.yml INFO[0000] Created roles/nginx/files/.placeholder INFO[0000] Created roles/nginx/templates/.placeholder INFO[0000] Created roles/nginx/vars/main.yml INFO[0000] Created molecule/test-local/playbook.yml INFO[0000] Created roles/nginx/defaults/main.yml INFO[0000] Created roles/nginx/tasks/main.yml INFO[0000] Created molecule/default/molecule.yml INFO[0000] Created build/test-framework/Dockerfile INFO[0000] Created molecule/test-cluster/molecule.yml INFO[0000] Created molecule/default/prepare.yml INFO[0000] Created molecule/default/playbook.yml INFO[0000] Created build/test-framework/ansible-test.sh INFO[0000] Created molecule/default/asserts.yml INFO[0000] Created molecule/test-cluster/playbook.yml INFO[0000] Created roles/nginx/handlers/main.yml INFO[0000] Created watches.yaml INFO[0000] Created deploy/operator.yaml INFO[0000] Created .travis.yml INFO[0000] Created molecule/test-local/molecule.yml INFO[0000] Created molecule/test-local/prepare.yml INFO[0000] Project creation complete.
  • 使用operator-sdk, 初始化 operator,可以看到创建出了很多资源
  • 定义 crd,这里我们的 crd 只支持三个参数 cpu, memory, replicas, 下面是这个 crd object的例子
apiVersion: nginx.operator.t.io/v1
kind: Nginx
metadata:
  name: example-nginx
spec:
  # Add fields here
  replicas: 3
  cpu: 100m
  memory: 100M
  • 修改 tasks/main.yml,类似上一节,使用k8s module创建资源
---
- name: nginx deployment 
  k8s:
    definition: "{{ lookup('template', 'nginx-deployment.yml.j2')  }}"
    namespace: "{{ meta.namespace }}"
- name: nginx service 
  k8s:
    definition: "{{ lookup('template', 'nginx-service.yml.j2')  }}"
    namespace: "{{ meta.namespace }}"
  • 先测试, 这里我们没有使用 ansible的测试工具,而是做了一个简单的 test playbook, 以测试 role的编写是否有问题
# test.yml
---
- hosts: localhost
  vars:
    meta:
      name: test-nginx
      namespace: default
  roles:
    - nginx
  
# do test  
ansible-playbook test.yml
  • 测试正常,修改 deploy 中的 placeholder, buid and push
➜ sed -i 's|{{ REPLACE_IMAGE }}|ccr.ccs.tencentyun.com/mla-library/tool:test|g' deploy/operator.yaml
➜ sed -i 's|{{ pull_policy\|default('\''Always'\'') }}|Always|g' deploy/operator.yaml
➜ operator-sdk build ccr.ccs.tencentyun.com/mla-library/tool:test
➜ docker push ccr.ccs.tencentyun.com/mla-library/tool:test
  • 把 crd 创建出来,部署 operator 以及相关的 role account 等kubectl create -f deploy/crds/ kubectl create -f deploy/➜ kubectl get pod NAME READY STATUS RESTARTS AGE example-nginx-78cf7659d4-9txlz 0/1 ContainerCreating 0 17s example-nginx-78cf7659d4-qzwsm 1/1 Running 0 17s example-nginx-78cf7659d4-td78l 0/1 ContainerCreating 0 17s ➜ kubectl get service NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE example-nginx LoadBalancer 10.7.255.124 119.28.109.137
  • 观察 Nginx 的创建情况(我们刚刚已经把 exampleNginx一并创建了),可以发现 deployment 和 service都符合预期
  • 修改 example-nginx,副本数量改成1, cpu,memory也做修改,观察效果,可以发现 deployment 也很快得到了对应的修改。➜ kubectl edit nginx example-nginx spec: cpu: 50m memory: 50M replicas: 1 ➜ kubectl get pod NAME READY STATUS RESTARTS AGE example-nginx-69647b9c6-8kgdm 1/1 Running 0 52s ➜ kubectl describe deploy example-nginx Name: example-nginx Namespace: default ....略 Pod Template: Labels: app=example-nginx Containers: example-nginx: Image: nginx Port: <none> Host Port: <none> Limits: cpu: 50m memory: 50M Requests: cpu: 50m memory: 50M

参考

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 支持100+业务线、累计发布17万次|宜信容器云的A点与B点(分享实录)

    宜信公司从2018年初开始建设容器云,至今,容器云的常用基本功能已经趋于完善,主要包括服务管理、应用商店、Nginx配置、存储管理、CI/CD、权限管理等,支持...

    宜信技术学院
  • Docker 的镜像签名

    应用上云的过程中,过了部署关和应用改造关之后,安全就是下一个大问题了。对于容器化应用来说,镜像的安全是个非常根本的问题,例如 Harbor 中集成了 Clair...

    崔秀龙
  • kube-scheduler 源码分析

    Kube-scheduler 是 kubernetes 的核心组件之一,也是所有核心组件之间功能比较单一的,其代码也相对容易理解。kube-scheduler ...

    田飞雨
  • daemonset controller 源码分析

    在前面的文章中已经分析过 deployment、statefulset 两个重要对象了,本文会继续分析 kubernetes 中另一个重要的对象 daemons...

    田飞雨
  • kubernetes 指标采集组件 metrics-server 的部署

    metrics-server 是一个采集集群中指标的组件,类似于 cadvisor,在 v1.8 版本中引入,官方将其作为 heapster 的替代者,metr...

    田飞雨
  • kubelet 状态上报的方式

    分布式系统中服务端会通过心跳机制确认客户端是否存活,在 k8s 中,kubelet 也会定时上报心跳到 apiserver,以此判断该 node 是否存活,若...

    田飞雨
  • 新手学习FFmpeg - 如何编写Kubernetes资源文件

    Kubernetes API属于声明式API编程, 它和常用的命令式编程有一些区别。 通俗的说,命令式编程是第一人称,我要做什么,我要怎么做。 操作系统最喜欢这...

    随机来个数
  • 使用插件扩展 kubectl

    由于笔者所维护的集群规模较大,经常需要使用 kubectl 来排查一些问题,但是 kubectl 功能有限,有些操作还是需要写一个脚本对 kubectl 做一些...

    田飞雨
  • 部署高可用 kubernetes 集群

    kubernetes 虽然具有故障自愈和容错能力,但某些组件的异常会导致整个集群不可用,生产环境中将其部署为高可用还是非常有必要的,本文会介绍如何构建一个高可用...

    田飞雨
  • kubernetes 中 informer 的使用

    在实际开发过程中,若想要获取 kubernetes 中某个资源(比如 pod)的所有对象,可以使用 kubectl、k8s REST API、client-go...

    田飞雨

扫码关注云+社区

领取腾讯云代金券