每次我们的团队为我们的MWAA环境放置另一个requirements.txt文件时，都需要重新启动。所以，我的问题是:在MWAA的方式下，在这个过程中究竟什么是“重新启动”，为什么要应用到整个所谓的MWAA环境中？
浏览 10提问于2022-09-07得票数 0
回答已采纳
我正在运行一个自定义的回填脚本，它串行地回填DAG。(如果并发运行回填，则会遇到死锁问题或可序列化隔离问题。)作为该过程的一部分，我有时会将失败的DAG与不存在的日期混合在一起。要回填失败的日期，我需要首先清除它。问题出现在清除的DAG自动重新启动并与在回填中运行的第一个日期冲突。airflow clear <
浏览 18提问于2020-07-16得票数 0
我有一个包含数万个任务的Apache Airflow DAG，在运行之后，我发现其中有几个任务失败了。 我修复了导致某些任务失败的错误，我只想重新运行失败的任务。这篇SO帖子建议使用图形用户界面“清除”失败的任务： How to restart a failed task on Airflow 如果您有少量失败的任务，则此方法有效。我想知道我们是
浏览 50提问于2018-12-27得票数 11
回答已采纳
2回答
气流调度器意外关闭
、、、、
我在一个带有Ubuntu的EC2实例上运行airflow v1.8.0。我运行的各种DAG与几个不同的SQL表连接。我有一个反复出现的问题，由airflow scheduler -D引发的调度程序对我关闭了。当我检查airflow-scheduler.err时，没有错误。为了进行调试，我进入/airflow目录，使用rm airflow-scheduler*清除所有与调度
浏览 14提问于2018-01-09得票数 2
回答已采纳
2回答
我是气流的新手，我试图导入我自己的定制jar作为DAG，它是用Talend 生成的，当我通过终端导入DAG时，没有显示错误，也没有将我的DAG添加到气流UI中的DAG列表中。以下是我的.py文件代码：from airflow.operators.bash_operator import BashOperator
f
浏览 0提问于2019-04-29得票数 0
回答已采纳
在Apache Airflow中，是否可以捕获失败的bash命令生成的原始错误消息，而不是Apache Airflow生成的跟踪错误，它会告诉您线路失败，但不能确切地说明失败的原因？Dag中的示例行： task_id="task1",
bash_command='
浏览 2提问于2018-10-12得票数 2
有没有办法在DAG步骤的重新运行期间(在清除状态之后)保持XCOM值？ 下面是我试图完成的简化版本，即当DAG步骤状态被清除并重新运行该步骤时，我希望能够加载在上一次运行中推送的XCOM值。我查看了pull_xcom()方法的源代码，但不知道它在哪里被过滤掉了。 我试图实现的功能是在DAG的失败运行之间保持一定数量的状态。在本例中，这意味着每次<
浏览 14提问于2020-05-03得票数 1
回答已采纳
'retries': 1, ...我可以得到不能多次重试的任务，但是当任务失败时，DAG又会重新启动
浏览 0提问于2018-06-11得票数 4
回答已采纳
我有一些失败的DAG，比方说从2月1日到2月20日。从那天起，他们都成功了。我尝试使用 (而不是使用Web执行20次)：但我有个奇怪的错误：airflow clear -u -d -f -t ".*" my_dags.my_dag_id
但是
浏览 4提问于2018-05-02得票数 7
我有一个气流DAG，这是没有意义的回填。我想，使用气流1.8，你可以给DAG参数catchup=False，所以它只会开始最近的工作。也就是说，我想让DAG从午夜开始，每天运行。但。这就是现在的事情: DAG立即开始，而不是在午夜。另外，当我清除所有DAG运行时，它将立即重新启动。然后DAG将每天运行，但将在错误的时间安排它开始+1天。我怎么能有一个DAG只开始运
浏览 3提问于2017-11-22得票数 2
回答已采纳
我有一个每天运行的DAG，我对它做了一些更改，我需要在几个月内重新运行它。 如果我转到Airflow UI，我可以清除它，它将运行，但这需要大量的点击。有没有其他方法可以做到这一点？如果我从命令行执行回填，如下所示： airflow backfill -s 20200101 -e 20200301 daily_dag_name 这实际上不会运行dag，我相信这是因为它运行成功了，而回填只有在失败时才起作用
浏览 42提问于2021-01-14得票数 2
回答已采纳
Airflow似乎跳过了我添加到/usr/local/airflow/dags中的dags。当我跑的时候输出如下所示example_xcomlatest_only_with_trigger
t
浏览 0提问于2017-08-07得票数 29
我在ui中有一堆DAG运行。如果我在所有DAG运行中清除某些任务，则某些任务被正确触发，而另一些任务则停留在已清除状态。
目前，我只是使用airflow CLI来回填这些任务。这是可行的，但不幸的是，我需要一个未中断的CLI会话来完成清理/重新处理场景。
浏览 0提问于2020-11-25得票数 2
我正在尝试创建动态的dag，但似乎在一分钟内失败了。我偶然发现在两个不同的地方创建了DAG对象：
from airflow import DAG 确实让我感到困惑，因为在相同的文档中有两种方法来实例化DAG对象。
浏览 0提问于2018-06-22得票数 0
12回答
DAG在Web中不可见
、、、
我是Airflow的新手。我遵循一个教程，并编写了下面的代码。from airflow import DAGfrom datetime importretry_delay': timedelta(minutes=5) CorrectnessPrediction.train()
dag<
浏览 14提问于2016-08-17得票数 34
回答已采纳
我知道可以重试单个任务，但是否可以重试整个DAG？ 我动态创建任务，这就是为什么我需要重试不是特定的任务，而是完成DAG。如果它不受气流的支持，可能有一些解决方法。
浏览 32提问于2019-10-11得票数 2
我一直试图使用以下命令清除一个任务。气流清晰-t <task_name> -s <start_date> -e <end_date> <dag_name>我还尝试在以下所有组合中使用“开始日期”和“结束日期”：
'2020-06-22''2020-06-22 10:21:23
浏览 0提问于2020-06-23得票数 1
回答已采纳
2回答
代码：我的守护脚本是这样的from airflow.operators import BashOperator目前，我给DAG启动之间的时间延迟了5分钟已经超过一个小时了，DAG还没有重新启动</e
浏览 6提问于2015-10-14得票数 14
回答已采纳
我用的是arflow 2.2.1。我有一个守护程序，当它失败时，它会发出警告信息。retry_delay': dt.timedelta(seconds=10),}from airflow.providers.slack.operators.slacktext=msg, ).execute(context=Non
浏览 5提问于2022-11-17得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
