专栏首页云计算技术专栏kubernetes系列教程(十三)一次性任务Job和周期任务
原创

kubernetes系列教程(十三)一次性任务Job和周期任务

视频教程连接kubernetes快速入门


1. Jobs让单次任务跑起来

1.1 Jobs简介

Windows下可以通过批处理脚本完成批处理任务,脚本运行完毕后任务即可终止,从而实现批处理任务运行工作,类似的任务如何在kubernetes中运行呢?答案是Jobs,Jobs是kubernetes中实现一次性计划任务的Pod控制器—JobController,通过控制Pod来执行任务,其特点为:

  • 创建Pod运行特定任务,确保任务运行完成
  • 任务运行期间节点异常时会自动重新创建Pod
  • 支持并发创建Pod任务数和指定任务数
jobs

Jobs任务运行方式有如下三种:

  • 运行单个Jobs任务,一般运行一个pod,pod运行结束任务运行完成;
  • 运行特定数量的任务,通过completion指定总计运行任务;
  • 并发运行任务,通过parallelism指定并发数

1.2 运行单个Jobs任务

1、 定义一个jobs任务,通过在command中运行特定一个脚本,将当前的时间打印100次

apiVersion: batch/v1
kind: Job
metadata:
  name: jobs-demo
  labels:
    controller: jobs
spec:
  parallelism: 1        #并发数,默认为1,即创建pod副本的数量
  template:
    metadata:
      name: jobs-demo
      labels:
        controller: jobs
    spec:
      containers:
      - name: echo-time
        image: centos:latest
        imagePullPolicy: IfNotPresent
        command:
        - /bin/sh
        - -c
        - "for i in `seq 0 100`;do echo ${date} && sleep 1;done"
      restartPolicy: Never  #设置为Never,jobs任务运行完毕即可完成

2、 运行Jobs任务

[root@node-1 happylau]# kubectl apply -f job-demo.yaml 
job.batch/job-demo created
[root@node-1 happylau]# kubectl get jobs job-demo 
NAME       COMPLETIONS   DURATION   AGE
job-demo   0/1           41s        41s

3、 此时jobs控制器创建了一个pod容器运行任务,此时处于Running状态,任务处在运行过程中,如果运行完毕则会变为completed状态

[root@node-1 happylau]# kubectl get pods  |grep job
job-demo-ssrk7                         1/1     Running   0          97s

4、查看jobs日志日志数据,可以看到当前jobs创建的任务是持续在终端中打印数字,且每次打印暂停1s钟

jobs任务输出

5、再次查看jobs的任务,可以看到任务已经completions,运行时长为103s,对应的pod状态处于completed状态

[root@node-1 ~]# kubectl get jobs 
NAME       COMPLETIONS   DURATION   AGE
job-demo   1/1           103s       5m12s
jobs之pod状态

1.3 Jobs运行多个任务

Jobs控制器提供了两个控制并发数的参数:completions和parallelism,completions表示需要运行任务数的总数,parallelism表示并发运行的个数,如设置为1则会依次运行任务,前面任务运行再运行后面的任务,如下以创建5个任务数为例演示Jobs控制器实现并发数的机制。

1、 定义计算圆周率的Jobs任务

apiVersion: batch/v1
kind: Job
metadata:
  name: pi
spec:
  template:
    spec:
      containers:
      - name: pi
        image: perl
        command: ["perl",  "-Mbignum=bpi", "-wle", "print bpi(100)"]
      restartPolicy: Never
  parallelism: 1
  completions: 5

2、运行jobs任务,并用kubectl get jobs --watch查看jobs创建过程,可以看到pod任务是依次运行,直至达到completions所定义的数量

jobs创建并发任务

3、Jobs任务都已运行完毕,查看Jobs列表可以看到任务都处于Completed状态,查看pod日志可以看到Pi圆周率计算的结果

jobs批量运行并发任务

1.4 Jobs运行并发任务

Jobs控制器支持运行并发任务,并发任务即Jobs控制器一次运行多个Pod执行任务处理,如下以一次性运行3个Pod并发数为例演示通过Jobs控制器实现并发任务

1、定义Jobs任务,设置3个并发数任务

apiVersion: batch/v1
kind: Job
metadata:
  name: jobs-demo
  labels:
    controller: jobs
spec:
  parallelism: 3    #运行并发数为3,一次性创建3个pod
  template:
    metadata:
      name: jobs-demo
      labels:
        controller: jobs
    spec:
      containers:
      - name: echo-time
        image: centos:latest
        imagePullPolicy: IfNotPresent
        command: 
        - /bin/sh
        - -c 
        - "for i in `seq 0 10`;do echo `date` && sleep 1;done"
      restartPolicy: Never

2、运行Jobs任务并查看,Jobs控制器同时创建了3个并发任务

Jobs并发运行任务

3、通过上面的演示可知,通过parallelism指定并发数量,Jobs控制器会创建出多个Pod副本并运行直至任务completed,同时parallelism可以配合completions一起使用,通过并发创建特定数量的任务,如下以单次运行3个并发任务实现9个任务的Jobs任务

apiVersion: batch/v1
kind: Job
metadata:
  name: jobs-demo
  labels:
    controller: jobs
spec:
  parallelism: 3    #并发任务为3
  completions: 9    #任务数为9
  template:
    metadata:
      name: jobs-demo
      labels:
        controller: jobs
    spec:
      containers:
      - name: echo-time
        image: centos:latest
        imagePullPolicy: IfNotPresent
        command: 
        - /bin/sh
        - -c 
        - "for i in `seq 0 10`;do echo `date` && sleep 1;done"
      restartPolicy: Never

4、运行Jobs任务并观察创建过程,在describe jobs的详情events日志中可以看到一共创建了9个任务,每3个任务创建时间一样,即并发创建的任务

并发运行多任务

总结:通过前面的例子解析可得知,Jobs能在kubernetes中实现类似Windows下批处理或Linux下shell任务的功能,通过运行特定任务数+并发数控制创建Pod任务。需要注意一点的是,Jobs控制器和Deployments副本控制器不一样,其不支持修改Jobs的yaml文件,如果有需要修改则需要提前将Jobs任务删除,然后再将修改后的yaml提交任务。

2. CronJobs周期性运转

2.1 CronJobs简介

CronJobs用于实现类似Linux下的cronjob周期性计划任务,CronJobs控制器通过时间线创建Jobs任务,从而完成任务的执行处理,其具有如下特点:

  • 实现周期性计划任务
  • 调用Jobs控制器创建任务
  • CronJobs任务名称小于52个字符
  • 应用场景如:定期备份,周期性发送邮件
Cronjob

CronJobs可通过schedule指定任务运行的周期,其使用参数和cronjob类似,分别使用:分时日月星5个参数表示周期性,其中*表示任意时间点,/表示每隔多久,-表示范围

  • 分钟 范围为0-59
  • 小时 范围为0-23
  • 日期 范围为1-31
  • 月份 范围为1-12
  • 星期 范围为0-7,其中0和7表示星期日

举例子说明:

1、 /1 * * * 表示每隔1分钟运行任务

2、 1 0 * * 6-7 表示每周六日的0点01分运行任务

2.2 运行Cronjobs任务

CronJobs任务是编写和Deployments类似,需啊哟一个schedule定期任务调度周期,通过jobTemplate定义生成Jobs任务的模版,定义一个任务为例:

1、 定义一个CronJobs任务,每隔5分钟运行一个任务

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: cronjob-demo
  labels:
    jobgroup: cronjob-demo
spec:
  schedule: "*/5 * * * *"       #调度任务周期
  jobTemplate:                    #创建Jobs任务模版
    spec:
      template:
        spec:
          containers:
          - name: cronjob-demo
            image: busybox:latest
            imagePullPolicy: IfNotPresent
            command:
            - /bin/sh
            - -c
            - "for i in `seq 0 100`;do echo ${i} && sleep 1;done"
          restartPolicy: Never

2、 运行CronJobs并查看任务列表

运行cronjobs任务

3、校验CronJobs任务运行的情况,可以看到CronJobs任务调用Jobs控制器创建Pod,Pod创建周期和schedule中定义的周期一致

校验cronjobs

当然,CronJobs中通过Jobs的模版也可以定义运行任务的数量和并发数,实现计划时间范围内并发运行多个任务的需求。

写在最后

文章总结了在kubernetes集群中运行Jobs批处理任务和CronJobs两种控制器的功能使用,适用于特定场景下任务,Jobs任务执行完毕即completed,CronJobs周期性调用Jobs控制器完成任务的创建执行。

参考文章

不错的博客:https://draveness.me/kubernetes-job-cronjob

运行Jobs任务:https://kubernetes.io/docs/concepts/workloads/controllers/jobs-run-to-completion/

计划任务ConJobs:https://kubernetes.io/docs/concepts/workloads/controllers/cron-jobs/

自动运行任务:https://kubernetes.io/docs/tasks/job/automated-tasks-with-cron-jobs/

TKE创建Jobs任务:https://cloud.tencent.com/document/product/457/31708

TKE创建CronJobs:https://cloud.tencent.com/document/product/457/31709


当你的才华撑不起你的野心时,你就应该静下心来学习

返回kubernetes系列教程目录

如果觉得文章对您有帮助,请订阅专栏,分享给有需要的朋友吧😊

关于作者 刘海平(HappyLau )云计算高级顾问 目前在腾讯云从事公有云相关工作,曾就职于酷狗,EasyStack,拥有多年公有云+私有云计算架构设计,运维,交付相关经验,参与了酷狗,南方电网,国泰君安等大型私有云平台建设,精通Linux,Kubernetes,OpenStack,Ceph等开源技术,在云计算领域具有丰富实战经验,拥有红帽RHCA/RHCE和OpenStack/Linux授课经验

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • kubernetes系列教程(二十一)dashboard使k8s普及大众

    前面的kubernets系列文章介绍了通过命令行和yaml文件的方式对kubernetes中资源的管理,命令行和yaml文件方式管理对于管理员来说无疑是利器,而...

    HappyLau谈云计算
  • kubernetes系列教程(七)深入玩转pod调度

    上一篇文章中kubernetes系列教程(六)kubernetes资源管理和服务质量初步介绍了kubernetes中的resource资源调度和服务质量Qos,...

    HappyLau谈云计算
  • kubernetes系列教程(六)kubernetes资源管理和服务质量

    上一篇文章中kubernetes系列教程(五)深入掌握核心概念pod初步介绍了yaml学习kubernetes中重要的一个概念pod,接下来介绍kubern...

    HappyLau谈云计算
  • [PYTHON] 核心编程笔记(16.P

    套接字只有两种一种是面向连接套接字,即在通讯之前一定要建立一条连接,这种通讯方式提供了顺序的,可靠的不会重复的数据传输,每一份要发送的信息都会拆分成多份,每份都...

    py3study
  • 高速网络包过滤

      WAF(Web Application Firewall, Web防火墙)的实现有多种手段,基于regex(Regular Expression,正则表达式...

    窗户
  • Linux kernel 的设计是否已经过时?

    Linux 多年来取得的成绩毋庸多言。但最近,reddit 上有人发起了一个话题,想知道 Linux 的内核设计是否已经过时,并得到了一些有趣的答案。 这位 ...

    小小科
  • 为什么“时间管理四象限”没有用处?

    这个图是把当前工作按照紧急程度和重要程度进行分类,以便更好的安排工作时间做最有意义的事情。

    顾宇
  • 东哥陪你学DAX — Datediff/Yearfrac

    yearfrac也是计算两个日期的间隔,不过这个间隔不用具体的年月天数来表示,而是通过相隔天数占一年的比例来表示

    公众号PowerBI大师
  • 干了一年半, 我还是离开了区块链, 这5点是我学到的

    Ryan Lechner是ConsenSys的区块链工程师,过去一年半的时间里,他都在帮助ConsenSys做区块链开发。因为ConsenSys是以太坊中重点项...

    区块链大本营
  • 基于知识图谱的文本自动注释(python+html)

    在探索知识图谱的过程中,发现它可以做一个有趣的应用——文本自动注释。在此整理并分享给大家。为了具体说明它的效果,让我们先来看一个例子:

    blmoistawinde

扫码关注云+社区

领取腾讯云代金券