0回答
如果没有任何更改，我真的不需要在每次DAG运行时创建通道和添加用户。同时，我需要确保频道和用户已经存在。我想知道是否有一种方法可以，比如说，当任务在上一次DAG运行中没有成功或在过去一个小时左右没有运行时，Airflow才能运行任务。我想我也可以做一些检查点(构建一个用户的散列，并将其保存到一个文件中，在随后的运行中进行比较)；但我希望Airflow已经有了这种方式的东西。
浏览 0提问于2018-07-10得票数 0
我想知道为什么以下命令可以工作：但是，如果我在UI中手动触发dag，相同的任务就会失败。任务本身很简单，基本上是：os库是导入的，就像上面所说的，在测试中它是工作的，但是在运行它时没有工作。我的代码是python，这个特定的dag需要在终端中<em
浏览 1提问于2020-04-21得票数 1
回答已采纳
1回答
我正在使用气流2.1.4，并希望找到以前任务运行的status (任务运行，而不是任务实例和Dag运行)。也就是说，dag MorningWorkflow在上午9:00运行，任务ConditionalTask也在这个进程中。如果ConditionalTask失败，我们可以修复这个问题，清除失败的运行，然后在不运行整个DAG的情况下重新运行
浏览 5提问于2022-03-02得票数 0
我在这样的情况下，我已经开始得到一些数据排定在一个特定的时间，我必须为这些数据创建ETL。
同时，当我还在创建DAG来调度气流中的任务时。数据每天都在到达。因此，当我从今天开始运行我的DAG时，我想每天安排它，还想回填我在创建DAG时错过的过去几天的所有数据。我知道，如果我把start_date作为数据开始到达的日期，从那个日期开始回填，但那样的话，我的day将永远落后于今天吗？如何同时实现回填和调
浏览 0提问于2019-08-11得票数 2
只有在发生特定事件时才能运行气流任务，例如将文件拖放到特定的S3桶中的事件。bucket_name='my-sensor-bucket', poke_interval=120,)如果已经有一个对象名与my-sensor-bucket)If中的通配符匹配，则运行该任
浏览 1提问于2019-11-04得票数 8
DAG和任务具有以下参数：
当我们添加一个新任务时，由于depends_on_past属性，没有任何新的DAG运行被调度，因为新任务之前的所有状态都丢失了。我们希望避免运行手动回填或手动标记以前从UI运行，因为它很容易被遗忘，我们也有一些动态DAG，任务会自动添加和停止未来的DAG执行。是否有
浏览 1提问于2021-03-01得票数 2
我如何配置气流(mwaa)，使它将在同一时间(早上6点PST)，每天考虑何时部署？
start_date = previous_five_am
似乎每当我通过将start_date设置为前一天早上5时进行部署时，无论我何时部署进程或执行气流更新，它都会在接下来的6点启动。
浏览 2提问于2021-02-20得票数 3
1回答
我在Ariflow 2.2.3中工作，我不知道如何用过去的执行日期触发我的进程。当我使用Config单击触发器dag时，我将日历更改为我想要的日期，但当我单击run时，我看到了运行，但它没有运行。你知道如何用过去的约会来触发一个达格吗？
浏览 9提问于2022-11-21得票数 0
1回答
我在一个组织中工作，它有大量令人尴尬的手工任务，涉及多个数据库(内部和外部)、多种文件类型/格式，以及大量的数据集。我试图在这里改进自动化，我一直在研究Luigi和Apache-气流，尝试标准化一些常用的模块，但我不确定这些是否是合适的工具。在我花太多时间弄清楚这些工具之前，我想我应该在这里问一下。将json和元数据文件上载到其他地方
我的最终目标是快速交换块，比如"csv_to_json“函数和"csv_to_xlsx”函数，用于
浏览 6提问于2022-08-23得票数 2
1回答
我有一个具有分支的DAG，因此存在这样的情况:在dummyjoin任务之前的所有任务都具有跳过状态。换句话说，只有当至少有一个任务具有success状态时，才触发后续任务。来自气流触发规则的on
浏览 1提问于2020-03-31得票数 1
回答已采纳
最近，我对气流进行了如此多的测试，以至于在运行execution_date时遇到了一个问题。
气流是为了满足ETL的需要而开发的。，第一个任务是在实际工作之前再等待5分钟的TimeDeltaSensor，这意味着我的进程将在2016-09-09T00:05:00，2016-09-10T00:05:00.等。在Web中，我可以看到类似于schedule
浏览 6提问于2016-09-21得票数 22
我有一个气流1.10 DAG，其操作顺序如下-我的要求是如果-
skipped)PythonOperator2 S3KeySensor失败(超时发生在等待与soft_fail=True一起的文件，即或PythonOperator3失败)，如果DAG完成了，无需发送电子邮件
浏览 4提问于2022-09-05得票数 0
3回答
假设我有：task_3 >> task_4
根据我的理解，task_2将在task_1完成后执行，task_3将在task_2完成后执行，task_4将在task_3
浏览 6提问于2020-05-20得票数 1
回答已采纳
我在气流中有一个SubDAG，它的运行步长很长(通常大约2个小时，尽管它根据运行的单元不同而有所不同)。在1.7.1.3下，此步骤将始终导致，并且当所有步骤都成功时，SubDAG将处于“运行”状态。我们现在正在测试气流1.8.1，通过以下操作进行升级：
运行
浏览 2提问于2017-05-31得票数 7
2回答
我对气流完全陌生，并试图掌握调度和默认args的概念。
我有一个场景，我想安排我的DAG 时程在源和数据库之间执行一些数据传输任务。我想要理解的是，假设我的一个DAG运行程序是在早上00:00触发的。现在，如果此运行需要一个多小时才能成功完成其所有任务(例如，1小时30分钟)，是否意味着下一次应该在凌晨01:00触发的DAG运行将不会被触发，但从02:00开始的D
浏览 11提问于2022-02-09得票数 0
2回答
(我知道，但它已经足够老了，我现在问它，希望有一个最新的答案。)我正在为气流为AWS批处理编写插件，在作业通过AWSBatchOperator操作符提交到批处理之后，我需要一种方法来等待作业完成并通知气流。我正在为它编写一个传感器，因为它似乎是处理它的适当方法。是否有任何简单的方法将信息从已完成的任务传递到其依赖的任务？我知道XCom，但考虑到这种情况的简单性，以及我想象的传感器常见问题，这似乎有点
浏览 20提问于2017-01-20得票数 2
2回答
机器学习平台是商业领域的热门词汇之一，其目的是为了促进ML或深度学习的发展。而且气流支持不同的语言API，并且有很大的社区，我们可以用气流来构建我们的ML工作流吗？
浏览 2提问于2019-11-26得票数 12
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
