2回答
我正在创建一个具有可配置数量的执行器的动态dag。parallelism = 32
任何想法，为什么这可能不会像预期的那样工作，或任何其他设置，我需要改变。请提个建议。
浏览 0提问于2018-10-01得票数 0
假设这是我的dag: A >> B >> C 如果任务B引发异常，我希望跳过该任务，而不是使其失败。但是，我不想跳过任务C。我研究了AirflowSkipException和soft_fail传感器，但它们也都会强制跳过下游任务。有没有人有办法做到这一点？ 谢谢!
浏览 116提问于2021-04-24得票数 1
我正在注册一个新的DAG：from airflow.operators.python_operator import PythonOperator)
print("I did it, ma!"))
我希望在start_date中</em
浏览 4提问于2020-06-19得票数 0
回答已采纳
dag = DAG(default_args=args,)
在控制器和目标dags中都定义了任务，就像默认的可用示例中一样。当dss_controller's schedule_interval设置为"@once</e
浏览 0提问于2019-07-23得票数 1
我正在尝试执行一个只需要运行一次的dag。因此，我将dag的执行间隔设置为“@once”。但是，我得到了这个链接中提到的错误- default_args = {'depends_on_past': False,
&#
浏览 2提问于2017-11-13得票数 3
我使用以下dag测试airflow 1.10： dag = DAG(dag_id='something',schedule_interval='@once',
...)="echo 0", dag=dag<
浏览 51提问于2019-06-25得票数 1
有没有办法设计一个在dag之外实现特定数据管道模式的python类，以便将这个类用于所有需要该模式的数据管道？然后尝试在Big Query中加载原始表中的数据，然后根据加载结果将文件分派到存档或拒绝的文件夹中。 做一次很容易，如果需要做1000次呢？我正在试图弄清楚如何优化工程时间。任务组需要是dag的一部分才能实现https://github.com/
浏览 39提问于2021-09-06得票数 1
回答已采纳
我在Linux中使用LocalExecutor和PostgreSQL数据库运行气流1.9.0。我想手动触发DAG，但是每当我创建一个schedule_interval设置为None或@once的DAG时，set服务器树视图就会崩溃，出现以下错误(我只显示最后一次调用)：
File "/usr/local此外，当我手动触发DAG时，DAG运行将启动，但<
浏览 0提问于2018-07-25得票数 18
如果DAG具有一个在特定日期运行的start_date，那么如何定义相应的DAGRun的execution_date？': '@hourly',假设DAG在2016-01-02上午6时运行，那么第一个DAGRun<e
浏览 2提问于2018-03-10得票数 2
回答已采纳
我有一个由三个任务组成的Airflow工作流；第二个任务依赖于第一个任务，第三个任务依赖于第二个任务。
如果我通过then服务器运行DAG，则第一个任务完成，但随后开始重新运行，而不是触发第二个任务。要记住的一件事是，第一个任务确实需要130秒以上的时间来运行。这是因为第一个任务</e
浏览 59提问于2018-06-05得票数 0
回答已采纳
我有一个非常简单的测试DAG，如下所示：from airflow.operators.python_operatorEqual to 11pm hora México schedule_interval='@once' #externally triggered
)我能想到<e
浏览 0提问于2018-02-13得票数 7
2回答
每当我试图运行DAG时，它都会获得成功状态，但它无法运行该任务。当第一次运行时，它运行得非常完美。= DAG( default_args={ },
浏览 0提问于2019-05-30得票数 0
回答已采纳
我使用气流-2.3.3(通过GCP作曲家) dag_args: default_args: start_date: "00:00:00" retries: 2 ftp_co
浏览 17提问于2022-11-22得票数 0
当尝试通过airflow trigger_dag test_dag运行dag时，我得到了错误：airflow.exceptions.DagNotFound: Dag id test_task not found运行airflow list_dags时，DAG正确列出。我还进行了检查，以确保将$AIRFLOW_HOME目录正确设置为dag<
浏览 8提问于2019-09-12得票数 3
我也在尝试建立一个DAG
使用教程在线和堆栈溢出，我已经能够找到以下的DAG和操作符，成功地实现了目标，但是我希望DAG在完成时被重新安排或重新运行我尝试设置一个变量max_active_runs:1，然后设置一个schedule_interval: timedelta(seconds=5)，这是重新安排DAG的
浏览 3提问于2017-06-26得票数 10
回答已采纳
我正试着在一天中的特定时间运行一个气流dag。本质上，我想在1:30，7:45上运行dag，然后在下午的某个地方说。让我们将其设为14:00，这样每次运行之间正好有6小时15米的间隔。同样重要的是，现在是英国时间。=dag_timezone)
schedule_interval = ti
浏览 33提问于2020-07-30得票数 0
我想收到一个电子邮件通知的任务成功，失败和重试在GCP使用Sendgrid。
创建GCP环境，添加环境变量。SENDGRID_MAIL_FRO
浏览 4提问于2020-04-01得票数 0
回答已采纳
5回答
下面的脚本似乎遵循了我可以找到的示例：from airflow import DAGfrom airflow.operators.docker_operator'45 09 * * *'
dag = DAG('xxx-merge', default_args=default_args, schedule_interval=
浏览 7提问于2018-05-09得票数 9
回答已采纳
是否可以在消息到达SQS队列时安排DAG运行？我还需要dag来处理队列中的消息。据我所知，这可以通过使用SQSSensor来完成，但我找不到任何示例，我对如何前进感到困惑。
浏览 24提问于2021-08-02得票数 0
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
