我正在尝试理解气流中的追赶和回填。我知道什么是catchup，但我还没有完全理解backfill到底是什么，以及它是如何使用的。
我已经阅读了文档，但是找不到好的例子来理解回填。
浏览 14提问于2019-07-30得票数 3
回答已采纳
同时，当我还在创建DAG来调度气流中的任务时。数据每天都在到达。因此，当我从今天开始运行我的DAG时，我想每天安排它，还想回填我在创建DAG时错过的过去几天的所有数据。我知道，如果我把start_date作为数据开始到达的日期，从那个日期开始回填，但那样的话，我的day将永远落后于今天吗？如何同时实现回填和调度？是否需要为回填和调度创建单独的DAG/任务？
浏览 0提问于2019-08-11得票数 2
5回答
我有一个计划每天运行的气流DAG。当我开始上个月的回填时，Airflow将开始处理从最旧到最新的运行。由于单次运行需要几个小时，这意味着当新的运行可用时(在回填过程中已经过去了一天)，新的运行将仅在整个回填完成后处理(导致公司无法获得最新数据)。是否可以指示气流从最新到最旧的流程运行？
浏览 3提问于2018-07-18得票数 7
我试着在堆栈溢出上查看这个问题的类似答案，但是我的情况略有不同。是否还有其他人遇到过类似的问题使用回填cli命令？
浏览 14提问于2020-08-21得票数 3
回答已采纳
1回答
我在Ariflow 2.2.3中工作，我不知道如何用过去的执行日期触发我的进程。当我使用Config单击触发器dag时，我将日历更改为我想要的日期，但当我单击run时，我看到了运行，但它没有运行。
浏览 9提问于2022-11-21得票数 0
1回答
气流？阿帕奇·梁？
、、、、
我有一个复杂的数据处理管道，目前用Python在一台机器上实现。dataset不适合内存，管道当前依赖于在每个阶段对磁盘进行拾取/脱毛对象。custom_dataset_object = convert_to_dataset(distributed_list)其中，整个处
浏览 0提问于2018-04-05得票数 2
1回答
我有一个DAG，从2015年1月1日到今天，每天都有"DAG运行“。DAG中的任务不是“过去依赖的”，这意味着在回填期间，它们可以按任何日期顺序执行。如果我需要在DAG中回填一个任务，我使用UI清除所有任务实例(从今天到过去)，然后所有DAG运行切换到"running“状态，任务从2015年1月1日到今天开始回填。任务很耗时，所以即使由多个线程/工作线程并行执行，回填也只能在几天内完成。
问题是，新的"DAG运行
浏览 1提问于2018-07-31得票数 8
回答已采纳
2回答
我试图使用gcloud composer命令在Google中进行回填，但我很难传递相应的--reset_dagruns参数的-y或--yes。
浏览 1提问于2020-06-10得票数 3
回答已采纳
我有一个关于Apache气流和Metaflow()之间的区别的问题。据我所知，Apache气流只是一个作业调度程序，它运行任务。基本上意味着，Metaflow可以在Apache气流上执行吗？
我的理解正确吗？如果是，是否可以将Metaflow DAG转换为Apache气流DAG？
浏览 7提问于2022-01-03得票数 2
回答已采纳
我来自使用Luigi的经验，在Luigi中，如果某个任务成功地生成了一个文件，并且该任务也未被修改，那么重新运行DAG将不会重新运行该任务，而是重用其先前获得的输出。有什么方法可以获得与AirFlow相同的行为吗？
目前，如果我重新运行dag，它将重新执行所有任务，无论它们在过去是否生成了成功(且未更改)的输出。
浏览 9提问于2021-09-13得票数 0
我有一个DAG，它已经运行了超过十年的任务执行日期。现在我需要在开始的时候再加上一年。我用谷歌搜索了一下，建议在新的dag_id下做这件事。因为旧DAG已经在指定的执行日期范围内运行，所以我想将新DAG中的那些DAG标记为成功。我如何才能以一种方便的方式对其进行归档？
提前谢谢。这周有个好的开始。
浏览 2提问于2020-12-07得票数 0
3回答
我刚刚开始使用Airbnb的，我还不清楚回填是如何/什么时候完成的。具体来说，有两个用例让我感到困惑：
如果我运行airflow scheduler几分钟，停止它一分钟，然后再次重新启动它，我的DAG似乎在前30秒左右运行额外的任务，然后继续正常运行(每10秒运行一次这些额外的任务是不是“回填”的任务在以前的运行中无法完成？如果是这样的话，我如何告诉气流不回填这些任务？这些任务是否也以某种方式“回填”？还是我漏掉了<em
浏览 6提问于2016-10-05得票数 46
回答已采纳
1回答
嗨，我目前正在Dataproc集群上运行气流。我的DAGs过去运行良好，但面对这个问题，当我单击气流用户界面上的任务实例->日志时，任务将在没有任何日志的情况下进入“重试”状态。在启动气流see服务器的终端中，我看到了以下错误<TaskInstanceUP_FOR_RETRY
2022-06-23 06:08:33.202 [INFO] Marking task a
浏览 1提问于2022-06-24得票数 2
我们有一个按小时运行的气流数据集，任务更新和覆盖BigQuery中的日期分区表。在对这些表的查询和/或模式进行调整之后，我们想要回填几天的现有分区，但是回填所有运行都是巨大的浪费，因为每小时运行一次只会覆盖相同的分区24次，然后再转到第二天。我们可以使用airflow list_dag_runs列出所有运行并筛选出每天的最后一个运行，但是是否有一种方法可以每天只回填/清除这些最后的运行，而不需要每天重新运行24个实例呢？airflo
浏览 3提问于2020-06-10得票数 0
回答已采纳
我使用start_date和schedule_interval创建了DAG，如下所示： 'start_date': datetime(2020, 11, 16,/run.sh -p %s -e {{ next_ds }}' %(dir_path, phase),)
我打算每天午夜用过去几天的回填任务来执行我的任务。但是当我在气流网络UI中切换DAG时，任务就会被调度并立即运行。另外，调度程序根本不<
浏览 2提问于2020-11-20得票数 2
2回答
子程序有五个任务，T1通过T5，必须按顺序运行(例如，T1 >> T2 >> T3 >> T4 >> T5)
选择T4，清除downstream+recursive -什么都不会发生。Dag树视图将子Dag显示为“成功”，尽管其中的T4和T5已被清除。什么
浏览 0提问于2018-01-18得票数 14
过去，我有一个用start_date定义的气流2.0DAG，追赶= True和max_active_runs = 5。目标是处理来自start_date的数据，最多5个DAG并行运行。这是为什么？是否可以使用追赶或回填来处理并行DAG运行的历史数据，并防止DAG中的某些任务并行执行？
浏览 2提问于2021-01-22得票数 0
我有一个气流DAG，我可以使用以下参数运行它： airflow trigger_dag 'my_dag' --conf '{"key":"value"}' 然后我可以像这样在我的DAG中获得'value我想用backfill做同样的事情： airflow backfill 'my_dag' --conf '{"key":"value"}' -s 2019-
浏览 26提问于2019-04-17得票数 0
通过试用大量的样本，我对气流的编程特性非常熟悉。阻止我深入挖掘的是它如何在不重载CPU或RAM的情况下执行其任务，是否有办法控制负载，使其不会耗尽资源
当调度程序执行“调度和更频繁地选择文件”的工作时，我知道一种减少负载的方法，方法是将以下字段min_file_process_interval和scheduler_heartbeat_sec的值更改为一分钟左右。我以为它会恢复新的DAG，如果有，在间隔之后，否则什么也不会做。
浏览 0提问于2019-01-09得票数 5
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
