数据补录

最近更新时间:2024-02-26 17:21:33

我的收藏

数据补录入口

登录进入 WeData 控制台 > 数据开发 > 任务运维界面,在任务运维内可以查看用户创建的工作流和任务,通过筛选找到需要补录数据的任务,单击补数据。
说明:
一次性任务不可补数据



说明:
任务列表支持多选任务批量补数据。



弹窗进入新建补录任务。




创建补录任务步骤

第一步:选择任务




功能说明:
参数
说明
补录计划名称
默认使用 patch_年月份时分秒_唯一数字生成,项目内唯一。例如:patch_20230624195944_548。支持用户自定义名称。
选择任务
默认显示当前工作流或者选中的任务。
补录任务范围
选中任务:列出用户选中的1个或多个任务,用户可以在这个列表中进行勾选和筛选。
选中任务级下游任务:列出用户选中的1个或多个任务,以及这些任务的下游,下游任务取并集,去重展示。
仅包含下游任务:仅列出用户所选中任务的下游任务,不包含当前选中的下游任务。
注意:
当前选中任务或下游任务数量限制500个,如果超出限制,请用户缩小选择范围。

搜索任务
支持通过任务名称检索。
任务列表
显示用户筛选后的任务,用户需要勾选要进行数据补录的任务。
选择好任务后单击下一步。

第二步:配置时间和参数




功能说明:
参数
说明
补录日期
用户可以自定义数据日期,可以选择的范围为今天及今天之前,默认选中最近7天(最多支持多选10个时间段)。
小时范围
默认00:00-23:59,只针对小时及周期小于小时的任务生效。结合数据日期最终生成补录实例。例如,选择了01:00-02:00,那么小时任务中定时在01:00任务实例会补录,03:00的任务实例不会补录。
执行资源组
默认任务原有的资源组,用户可以重新指定补录实例运行的调度资源组和集成资源组,不影响周期任务执行资源的配置。
检查父任务
检查全部上游任务:选中的补录任务按照任务配置的依赖关系运行。
全部不检查:选中的补录任务不按照任务依赖关系运行,并行运行。
只在选中任务中检查:选中的补录任务只从选中的任务中检查依赖关系,不从非选中任务中检查依赖关系。
自依赖
默认任务原有自依赖配置(原有任务的自依赖配置),用户可以自定义,可选择并行度(最小为2,默认值为2,最大值为10),设置并行后将不会使用任务原有的自依赖关系。
补录计划说明
用户可以自定义对补录计划补充说明,最长256个字符。
高级设置
补录实例生成周期:可重新指定补录任务实例的生成周期,目前只会将天实例转换成每月1号生成的实例。
自定义参数:
默认任务自带参数,用户可以重新指定任务的参数,方便补录实例执行新的逻辑,新的参数会覆盖之前任务参数值。
自定义参数按照 key-value 的形式输入。
配置好时间和参数后,单击下一步。

第三步:预览实例




预览补录的配置信息和实例信息,仅支持查看,不支持其他操作,如果需要进行修改,可以返回上一步更新配置信息。
预览无误后单击确认补录,补录任务新建完成,用户可以单击左侧数据补录进入补录列表查看。
补录列表



数据补录以三级列表形式提供补录任务的查看和操作。




一级列表

搜索功能
补录任务名:按照补录任务名称检索补录任务。
节点任务名:按照补录任务中包含的任务节点名称检索补录任务。
运行状态筛选:默认显示全部,用户可以自定义筛选运行中/完成。
创建人:下拉式筛选,用户可以选择的范围为当前项目中的所有成员。
创建时间:默认显示当天,用户可以按照创建时间进行筛选,最晚可以选择到当天。
列表展示:默认展示补录任务名称、数据时间、任务个数、创建人、运行状态、操作。
运行状态
运行中:当前补录任务中有实例处于运行中、未运行的状态。
完成:当前补录任务中所有实例都处于完成、终止或失败的状态。
完成率:状态为(成功、终止、失败)的实例总数/实例总数。
成功率:状态为(成功)的实例总数/实例总数。
操作
配置详情:单击查看当前补录任务的配置详情。



批量重跑:对“失败”、“失败重试”的实例进行再执行,其他状态默认忽略!重跑的依赖判断根据补录计划来确定。批量操作是异步操作,实例状态会有延时。
批量终止:对“等待运行”或“运行中”的实例进行强制终止,其他状态实例默认忽略!批量操作是异步操作,实例状态会有延时。

二级列表

展示当前任务节点名称、节点任务 ID、责任人、类型、实例状态、状态。

三级列表

展示当前任务节点数据时间、运行开始时间、运行结束时间、运行耗时,状态及操作。
诊断:当任务失败后可以通过诊断判断失败的原因,并支持跳转对应任务详情查看。

操作:用户可以查看任务日志,通过日志查看任务详情或失败原因。