我在Airflow中有任务A -> B -> C,当我运行DAG并成功完成所有任务时,我希望能够单独清除B(同时将C标记为成功)。我希望能够在不更改管道的情况下重新运行B的原因是,B的一些外部输入可能会稍微改变(文件更改或调整),我想在重新启动下游任务之前运行它并评估它的输出(以减轻任何潜在的中断)。
我有三项任务。第一个检查csv文件是否存在,第二个创建MySQL表,第三个将来自csv文件的数据插入到MySQL表中。前两项任务成功,但最后一项任务没有说,由于选项,我没有从文件到数据库插入数据的严格要求。students_data.csv' INTO TABLE students_db FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' IGNORE 1 ROWS;
my