我正在使用airflow with composer (GCP)从云sql for gcs中提取数据,在gcs for bigquery之后,我有一些介于100 Mb和10 Gb之间的表。我的dag有两个任务要做我之前提到的。对于较小的表,dag运行得很顺利,但是对于稍微大一些的表,云sql提取任务会在几秒钟内结束,但会失败,但除了"negsignal.sigkill“之外不会带来任何日志,我已经尝试增加编写器的容量,<em
Airflow Version : 2.2.5我们有一个任务组,它使用for循环动态地创建任务。在任务组中,我们使用BigQueryTableDeleteOperator删除表。问题:我们注意到,一旦删除了表,所有任务都会移动到REMOVED状态,从而用Task not found的错误消息破坏了GANTT chart。在任务运行之前:图1任务
我想稍后我会使用,但我希望它首先在本地运行。我已经启动了气流,运行了一个BashOperator,我也可以运行airflow test <dag> <task>,其中task是我想要运行的大型查询任务,但是当我从UI触发DAG时,bigquery任务永远不会排队。import datetime, timedelta
from airflow.contrib.operators.bigq
我在Airflow中有任务A -> B -> C,当我运行DAG并成功完成所有任务时,我希望能够单独清除B(同时将C标记为成功)。B被清除并进入“no_status”状态,但是当我尝试重新运行B时,什么也没有发生。我已经尝试了--ignore_dependencies,--ignore_dependencies_on_past和--force,但都没有用。B似乎只有在C也被清除的情况下才会重新运行,然后一