名词解释

最近更新时间:2019-12-03 22:51:21

作业

作业(Job)是用户提交批处理工作的最小单位,它由单个或多个有前后依赖关系的任务组成。可以通过非常易用的 DAG 语法,来给多个批处理任务设置依赖关系,共同组成一个作业,然后依次执行各个任务,直到所有任务完成,即作业完成。任务间的依赖关系只能在作业提交时指定,提交完成后不能进行修改。
作业示例

任务

任务(Task)是作业的基本组成单位,包含了实际在一台云服务器上执行的应用程序的相关信息。Batch 调度系统根据用户提交的配置,自动创建 CVM,安装镜像,执行程序。任务不可以直接提交,必须放入一个作业后下才可以提交执行,作业支持放置单个任务,也可以放置多个任务。

任务最核心的可配置属性如下:

  • CVM 实例配置 :任务是执行在 CVM 上的,您需要根据您计算任务的特性,去配置 CVM 实例的类型和配置,例如选择计算型实例(C2)还是高IO型实例(IO2)、内存和磁盘大小、实例所处于的 VPC 网络等。
  • 执行环境:包含镜像和命令配置,镜像一般是自定义镜像,里面包含您的应用程序和它所依赖的环境,而命令则指定如何启动这些应用程序来进行计算。
  • 远程存储映射:支持将远程存储地址映射到本地文件系统地址,目前支持 COS,详细见后面单独名词解释。
  • 标准输出:您可以配置标准输出的映射地址(COS),应用程序里输出到 stdout 和 stderr 的信息将会在任务完成后被上传到对应地址,这样可以在任务完成后回溯计算过程。

任务实例

任务实例是 Batch 调度和执行的最小单元。一个任务包含单个或多个任务实例。每一个任务实例运行在一台 CVM 实例上,执行相应的计算任务。您可以在任务配置里设置需要并发执行的实例数目,Batch 会在任务被启动时以同样的配置调度指定数目的实例,您可以在执行程序里通过环境变量来区分这些实例。

多实例的典型运用场景是输入数据可切割然后并行处理的场景,这样可以充分的运用云上弹性资源的优势进行并行计算,提高工作效率。

镜像

镜像(Image)配置在任务里,创建实例时使用,它必须是一个标准的或者自定义的 CVM 镜像,您需要预先将计算环境和应用程序准备好并制作成自定义镜像,您可以在 镜像控制台>>> 查看您的自定义镜像,如何制作自定义镜像请查看 创建自定义镜像>>>

计算环境

计算环境(ComputeEnv)是由单台或多台 CVM 实例组成的计算集群,可根据业务需求扩容或缩容。当任务配置指定了计算环境,任务实例会调度到指定计算环境的节点上执行;当没有指定计算环境时,Batch 会创建 CVM 实例用于执行任务实例,并默认在任务实例完成后销毁 CVM 实例。

任务模板

可以将常用的任务制作成任务模板,基于任务模板定制不同的任务,实现作业的快速提交。

远程存储映射

存储映射即将远程存储地址(对象存储 COS 或文件存储 CFS)映射到 CVM 的本地文件系统,这样可以操作本地文件系统的方式来读写远程存储。