1回答
我是airflow的新手，正在尝试弄清楚如何将DAG运行日期传递给每个任务，我的DAG中有以下内容： tzinfo=tz.gettz('America/Los_Angeles') }
) 然后我尝试将runDateTimeTz参数传递给我的每个任务，如下所示。arguments=["-jar","myJ
浏览 24提问于2020-04-17得票数 1
要求:根据偏移量的数量(基本上是日期)，动态地并行运行任务。
如下所示，它从当前日期0到4天前(End_offset_days)开始，这样每个任务都可以与每个日期并行运行。start_偏移量_dayts/ end_offset_days可以是动态的，明天可以更改为6以运行过去的几天。当下面的date_list给出一个并行运行的日期列表时，我尝试了一下，如何将它传递给下一个
浏览 2提问于2022-04-11得票数 0
1回答
几个小时前，这段代码运行良好，但突然之间，我的伙伴们开始陷入“排队”状态。下面是我试图运行的内容(我只是手动触发)：from airflow.operators.python_operator import PythonOperator( default_args=default_args, task_id=
浏览 3提问于2022-05-24得票数 0
有可能得到气流中dag的实际开始时间吗？我所说的开始时间是指dag的第一个任务开始运行的确切时间。
我知道我可以使用宏来获取执行日期。如果作业是使用trigger_dag运行的，那么这就是我所说的开始时间，但是如果作业是按日计划运行的，那么{{ execution_date }}将返回昨天的日期。我还尝试将datetime.now().isoformat()放在dag代码的主体中，然后将其传递给一个
浏览 2提问于2017-11-03得票数 8
回答已采纳
2回答
我有一个DAG，我需要回填很多日期。由于资源原因，我认为最好的选择是在开始日期和结束日期之间创建一个日期列表，并在for循环中运行任务。应该有一个函数将所有日期(格式化后)返回给变量并在for循环中运行DAG任务，还是日期列表应该是作为任务运行的函数的一部分，然后以某种方式使用Xcom发送日期列表？如何将其分配
浏览 8提问于2022-08-24得票数 0
我不明白为什么我们需要一个'start_date‘的操作符(任务实例)。我们传递给DAG的那个不就够了吗？此外，如果当前时间是2018年2月7日上午8时30分，而现在我将dag的start_date设置为2018年2月7日上午0.00，我的cron表达式的时间表间隔为309***(每天上午9时30分，即预计在下一个小时内运行我的DAG将于今天上午9时30分或明天(2月8日上午9时30分)运行？
浏览 0提问于2018-02-07得票数 9
回答已采纳
我有一个要使用BigQueryOperator运行的查询。每天，它将运行过去的21天。sql文件保持不变，但传递给文件的日期发生了变化。因此，例如今天，它将运行今天的日期，然后重复昨天的日期，然后重复2天前，一直到21天前。因此，它将在2021年7月14日运行，因此我需要将此日期传递给我的sql文件。然后它将运行7/13/2021，我需要传递给我的sql文件的<
浏览 6提问于2021-07-15得票数 2
回答已采纳
由于许多原因，我的目标是转移到airflow来执行这些任务，但我实际上试图做的是将我的源代码托管在github中，并使用gitpython找到airflow的.sql文件，然后触发我的刷新。我似乎很难理解如何在airflow实例中‘托管’我的github存储库，然后隔离一个文件以推送到dag任务。
浏览 2提问于2020-11-25得票数 2
问题:我的DAG的开始日期没有被正确设置，有人能告诉我为什么吗？with DAG("ufc-main-dag", default_args=default_args) as dag: )
# lambda pulls raw da
浏览 14提问于2022-09-06得票数 0
回答已采纳
我已将DAG的执行安排为每天运行。它完美地工作了一天。
然而，每天我不仅想重新执行当天的{{ ds }}，还想重新执行之前的n天(假设n= 7)。例如，在计划在"2018-01-30“运行的下一次执行中，我希望Airflow不仅使用执行日期"2018-01-30”运行DAG，而且还重新运行从"2018-01-23“到"2018-01-30”的所有前几天的DAG。有没有一种简单的方法可以使之前的执行“无效”，以便自
浏览 13提问于2018-01-30得票数 5
回答已采纳
当您使用catchup=True部署一个新的DAG时，气流调度程序会自动安排从start_date到现在的所有任务。它完成后，你会得到很多深绿色的球，这意味着过去那些DAG已经运行过了。但是现在您希望将新任务添加到过去的DAG运行中。要让旧的DAG运行识别新任务并运行它们，我应该做什么？
浏览 1提问于2020-05-12得票数 1
回答已采纳
它是否只是启动了某种调度器进程，而不考虑其余的DAG，并覆盖了start_date和end_date？或者不仅仅是这样？ 我的用例:有时我想为一个DAG重新运行一周，通常是当我向其添加一些新功能时。为此，我使用CLI (airflow clear)清除所需日期的任务实例。但有时，我可能会改变主意，认为这周不是重新运行的合适时机。因此，我暂停了DAG，并使用命令airflow backfill -m将清除的任务实例设置为成功。 当我这样做的时候，相关的<
浏览 16提问于2019-06-22得票数 1
回答已采纳
2回答
我想在指定的日期运行一个简单的DAG。我正在努力改变开始日期、执行日期和回填之间的差异。运行DAG的命令是什么？以下是我尝试过的：当我第一次运行该命令时，任务正确地执行，但是当我再次尝试时，它没有工作。下面是我运行的另一个命令：
airflow backfill dag_1 -s 2017-1-23 -e 20
浏览 7提问于2017-01-23得票数 20
回答已采纳
我最近将airflow版本从airflow 1.8升级到apache-airflow 1.9，升级成功，我使用Celery Executor扩展了环境，一切似乎运行正常，但dag和任务开始日期、执行日期等都显示在UTC时区，计划的dag在UTC运行，在升级之前他们使用的是本地时区，即pdt。关于如何将pdt设置为airflow中的默认时区，有什么建议吗？我尝试在airflow.cfg中使用default_timezone连接到default_timez
浏览 2提问于2018-01-11得票数 11
回答已采纳
5回答
我有一个计划每天运行的气流DAG。当我开始上个月的回填时，Airflow将开始处理从最旧到最新的运行。由于单次运行需要几个小时，这意味着当新的运行可用时(在回填过程中已经过去了一天)，新的运行将仅在整个回填完成后处理(导致公司无法获得最新数据)。是否可以指示气流从最新到最旧的流程运行？
浏览 3提问于2018-07-18得票数 7
目前，我有两个DAG: DAG_A和DAG_B。
DAG_A有一个Task1，通常需要7个小时才能运行。DAG_B只需3小时。DAG_B有一个ExternalTaskSensor(external_dag_id="DAG_A", external_task_id="Task1")，但也使用其他每小时生成的信息X。怎样才能提高DAG_B的频率，使其一天至少运行4
浏览 2提问于2021-07-15得票数 3
回答已采纳
= DAG( start_date=WORKFLOW_START_DATE, task_id="waiting_for_dag&q
浏览 3提问于2020-11-26得票数 0
每当我尝试运行DAG时，它将处于正在运行状态，但任务不会运行。我已将开始日期设置为datetime.today()，并将计划间隔设置为"* * *“。手动触发运行将启动dag，但由于以下原因，任务将不会运行：
执行日期为2017-09-13T00:00:00，但在任务开始日期2017-09-13T16:20:30.363268之前。我尝试了计划间隔的各种
浏览 6提问于2017-09-14得票数 21
3回答
我正在运行气流，并试图迭代我们正在从命令行构建的一些任务。[2017-08-15 02:52:55,639] {__init__.py:57} INFOExiting当使用airflow test或airflow run (即涉及运行任务</em
浏览 0提问于2017-08-15得票数 0
回答已采纳
I有一个DAG 'abc‘计划每天早上7点在CST上运行，其中有任务'xyz’，因为某种原因，我不想运行明天的任务'xyz‘。。
感谢你在这方面的任何帮助。
浏览 1提问于2020-06-12得票数 2
回答已采纳
云服务器
ICP备案
对象存储
腾讯会议
云直播
腾讯云开发者
