我的一些气流dags没有按照计划执行:
如你所见,这里有两个dags,应该在02-11上的5:00和8:00UTC运行,但没有运行。这是为0 5,17 *计划的dag定义的相关信息
default_args = {
'owner' : 'airflow',
'retries' : 1,
'retry_delay' :timedelta(minutes=5)
}
dag = DAG(
dag_id = '*********',
start_date = airflow.utils.dates.days_ago(2),
default_args = default_args,
schedule_interval = '0 5,17 * * *'
)
正如您所看到的,在2-11上运行的5:00超过了start_date的一个完整的schedule_interval,所以没有理由不触发每个this astronomer article和所有其他文档。
发布于 2021-02-12 00:18:43
气流计划间隔可能是一个具有挑战性的概念。基本上,气流不会在计划周期的开始时间触发DAG,而是在计划周期结束时触发。
例如,如果您在2点计划每天的批处理作业,它将在计划周期结束时触发您的DAG,这意味着它将触发第24小时(第二天2点),如果它是每小时作业,则它将在60分钟完成后触发,因此您的DAG将在第60分钟触发,这意味着下一小时。
在您的示例中,您安排了5小时和17小时,因此它将在计划周期完成后触发,在本例中,第5小时运行将在第17小时触发,第17小时运行将在第二天第5小时触发。
https://stackoverflow.com/questions/66158140
复制相似问题