有奖捉虫:行业应用 & 管理与支持文档专题 HOT
说明
数据湖计算 DLC 的数据任务模块支持对任务进行调度计划配置,您可以在数据任务模块进行数据任务和运行实例的管理。

相关概念

数据任务:用户创建的调度任务。
实例:调度任务每次执行调度计划会产生一个实例,相同数据时间只会产生一个运行实例,相同数据时间运行多次,会产生多条运行日志。
数据时间:实例运行时传入脚本中的日期参数,如天任务,2022-04-23 00:00:00 运行的实例,数据时间为2022-04-22。
调度时间:实例运行的实际时间,如天任务,2022-04-23 00:00:00 当天运行的实例,调度时间为2022-04-23 00:00:00 。
调度周期:支持月、周、天、小时、分钟(10分钟为单位)、一次性的调度任务。
调度依赖:按照调度计划中任务编排情况执行调度。在父任务未运行成功之前,子任务会保持等待状态。暂时不支持跨调度计划的任务依赖
有序串行:当前实例依赖前一个周期实例的状态。
无序串行:当前实例和前一个周期实例没有依赖关系,如果一个任务同时存在多个实例,系统随机选取一个实例运行。同时只有一个实例是运行状态。
并行:前一个周期实例和后一个周期实例之间没有依赖关系,如果一个任务同时存在多个实例,多个实例会同时运行。

创建调度任务

1. 登录 数据湖计算 DLC 控制台,选择服务所在区域。
2. 进入数据调度页 > 调度计划,鼠标悬停在调度计划列表的

图标,单击新建调度计划,配置调度计划信息。输入名称、调度周期、生效日期、调度时间等,创建调度计划。

支持按照分钟、小时、天、周、月配置周期性调度计划或设置一次性调度。



管理调度计划

您可以管理调度计划,在调度计划中创建任务并进行任务编排,支持编辑或删除调度计划。
1. 选择创建好的调度计划,单击创建任务跳出创建数据任务弹窗。


2. 数据任务模块选择 SQL 作业或 Spark 作业,选择对应的作业类型后添加脚本,如需新建脚本可在数据探索数据作业模块创建。填写任务名称并选择数据引擎,单击确认完成创建。


3. 您可以创建多个任务,并通过连线添加或删除任务之间的依赖关系。数据任务可在界面内进行拖拽、排序。


4. 单击启动调度,调度中所有的任务将进入运行状态,调度系统将生成任务实例。您可以选择冻结或暂停调度,对调度计划进行管理。也可以通过右键单击单个任务对任务进行编辑、删除、启动、冻结、暂停、补数据等操作。


启动任务(启动调度):启动调度任务。
冻结任务(冻结调度):任务不再生成新的实例,之前产生的实例会正常运行。
暂停任务(暂停调度):任务不再生成新的实例,暂停任务前提条件是所有实例都处于冻结状态,否则暂停任务失败。
删除任务:前提条件是任务处于暂停状态,否则无法删除。
5. 单击调度计划后“编辑”弹出配置侧拉窗可进行生效时间和调度时间的修改。





管理数据任务及运行实例

1. 您可以在任务列表中查看数据任务的相关信息,包括任务内容、所属的调度计划、周期、任务状态、创建人等。单击调度计划名称,可以跳转进入到对应的调度计划列表中。

任务状态分为以下几种:
草稿:新创建的任务,且还未运行的任务,为草稿态。
运行:启动调度的任务,为运行态。
冻结:冻结调度的任务,为冻结态,冻结态的任务不再生成新的实例,之前产生的实例会正常运行。
暂停:暂停调度的任务,为暂停态,暂停态的任务不再生成新的实例,暂停任务前提条件是所有实例都处于冻结状态,否则暂停任务失败。
2. 单击查看实例,进入该任务的运行实例列表。展示调度时间、周期、实例状态等信息。您可以对实例进行重跑、终止运行、置成功等操作。

实例状态包括以下几种:
等待调度:等待计划执行。
失败:任务失败,且未达到任务重试次数的实例。
终止:任务失败,且重试次数达到上限。
正在运行:正在执行任务。
成功:实例运行成功。
3. 单击运行日志,您可以查看该实例的运行相关的详细信息,如运行耗时、日志信息等。
4. 单击父子实例,您可以查看该实例关联的父实例和子实例列表,并对实例进行重跑、终止运行、置成功等操作。





数据探索生成调度任务

您可以在数据探索模块页 > 查询生成调度任务。单击生成调度任务

选择调度计划或单击新建创建调度计划,生成调度任务后,在数据任务模块进行配置、管理。