致力于使气流在我的公司实施，但需要执行一些安全检查之前，我们的产品dbs连接。人们担心部署了愚蠢的SQL，占用了太多的资源。我的想法是，对一个execution_timeout任务设置PostgresOp会：
我发现这两件事都不是真的。，气流不会使任务失败。即使我手动地在UI中失败了任务，它也不会扼杀Postg
浏览 29提问于2022-02-25得票数 0
只有在发生特定事件时才能运行气流任务，例如将文件拖放到特定的S3桶中的事件。=dag使用上述传感器对象，传感器任务的气流行为如下：
如果已经有一个对象名与my-sensor-bucket)If中的通配符匹配，则运行该任务，即使在空气流管理UI中的DAG被切换为ON之前(由于存在过去的s3对象，我不想运行该任务)在运行一次之
浏览 1提问于2019-11-04得票数 8
气流:可以在DAG中配置任务级超时吗？
我希望防止任务无限期地运行。根据我的理解，sla参数只有在任务完成并超出SLA之后才会到位。
浏览 0提问于2020-11-11得票数 2
回答已采纳
我们是否可以使用气流dag来定义一个永无止境的工作(即，是否通过将任务/dag超时设置为None并手动触发其运行，来创建一个具有无条件循环以使用流数据的任务？让airflow监控一个永无止境的任务会导致问题吗？谢谢
浏览 2提问于2017-12-11得票数 4
回答已采纳
我有一个简单的气流DAG：from datetime import datetime, timedelta retries =1,任
浏览 14提问于2022-02-10得票数 1
我想使用execution_timeout为我的execution_timeout设置一个特定的超时，但我注意到它会引发AirflowTaskTimeout。我要寻找的是在超时的情况下执行特定的行为，然后继续执行下一个任务中的DAG。我可以使用bash timeout，但我正在为相同的功能寻找内部气流支持。
气流支持吗？
浏览 0提问于2019-04-02得票数 1
回答已采纳
1回答
这是当我backfill作业时的输出。Decimal('0'), 'failed': Decimal('0')}, upstream_task_ids=['runme_0', 'runme_1', 'runme_2']airflow.exceptions.AirflowException: ------------------------------------------
浏览 9提问于2017-04-13得票数 5
回答已采纳
2回答
我在我的airflow DAG中运行了5个PythonOperator任务，其中一个正在执行一个耗时很长的任务，由于这个任务，我所有的资源都被阻塞了。有没有一种方法可以设置每个任务的最大执行时间，在该时间之后，任务要么失败，要么被标记为成功(这样DAG就不会失败)并显示一条消息？
浏览 9提问于2019-06-18得票数 3
回答已采纳
2回答
由于连接偶尔会超时，所以必须允许retries。如果传感器现在重试，则将timeout变量应用于初始24*60*60的每个新尝试，因此，任务在24小时后不会按预期超时。问题：
有没有一种方法可以限制任务的最大时间，比如元超时？此DAG应运行并检查文件是否存在。如果它存在，就应该继续下去。有时，由于文件提供太晚(例如，连接错误)，传感器任务可能被重新安排。达格的最大“运行时间”不应超过24小时。但是，由于重试，如果<e
浏览 2提问于2021-04-26得票数 3
1回答
我使用的气流1.9.0与自定义SFTPOperator。我在我的DAG中有代码，用来轮询SFTP站点来查找新的文件。如果找到任何文件，则为动态创建的任务创建自定义任务id，并检索/删除文件。看起来，气流all服务器和气流调度器每秒钟迭代一次所有的DAG，并实际运行检索directory_list的代码。这意味着我正在访问SFTP站点~2x每秒来验证和提取文件列表。我希望有
浏览 0提问于2018-08-03得票数 2
回答已采纳
1回答
我有一个相对简单的任务，首先在1.2兆文件上运行，并为每个文件设置一个管道(保存中间产品的多个步骤)。我已经在luigi：中实现了这一点。我喜欢Luigi使用文件系统来查看任务是否已经完成。我还找到了一个实现，可以删除一个中间产品，管道将重新创建所有依赖的产品(因此我可以更改管道)。我如何在气流中做到这一点(或者也许我应该和Luigi呆在一起？)
浏览 6提问于2017-07-09得票数 1
回答已采纳
嗨，所有的气流专家
我只有一个DAG脚本，用于我的平台目的。我仅在dev上的气流(在qa和prod上都可以)有奇怪的行为:当调度器在此时开始执行我的守护进程时，调度器每秒钟而不是30秒读取和执行我的python脚本。在执行DAG (和几分钟后)调度程序返回到通常的行为-读我的脚本每30秒(如min_file_process_interval告诉)。这只发生在一个安装(DEV)，在另一个是好的
浏览 5提问于2022-11-16得票数 1
1回答
我有一个DAG，它是通过查询DynamoDB中的一个列表和列表中的每个项来创建的，这个任务是使用一个PythonOperator创建的，并将它添加到DAG中。在下面的示例中没有显示，但是需要注意的是，列表中的某些项依赖于其他任务，因此我使用set_upstream来强制执行依赖项。dag = DAG(dag_id='my_dag
浏览 3提问于2017-07-15得票数 2
回答已采纳
请不要否决我的答案。如果需要，我将更新和纠正我的话。我做了我的家庭工作研究。我并不是新来的，所以试着去理解这一点。我试着从第69页找出我的答案。
3.11调度&触发气流调度器监视所有任务和所有DAG，并触发满足依赖关系的<
浏览 0提问于2020-08-23得票数 3
回答已采纳
嗨，我是阿帕奇气流的新手，我有很多依赖的人，让我们说
是否有可能从上一次故障任务恢复气流DAG？
浏览 0提问于2018-10-09得票数 1
我正在学习Apache气流，并尝试编写hello world版本的它。我已经用python版本3.8和下面的包含dag和任务的代码安装了airflow版本2.0import logging
我已经按照以下方式配置了apache<
浏览 7提问于2021-02-07得票数 2
回答已采纳
1回答
使用BashOperator从气流DAG任务中触发ansible剧本，因为我想获取在task 1中生成的值，并使用那些在气流DAG任务2中生成的值。
任务1执行生成此值的ansible剧本。在气流DAG任务2中是否有获得这个值的方法?遵循下面的doc，但是找不到涵盖ansible剧本用例的任何示例代码。
浏览 3提问于2022-09-23得票数 0
我如何配置气流(mwaa)，使它将在同一时间(早上6点PST)，每天考虑何时部署？
start_date = previous_five_am
似乎每当我通过将start_date设置为前一天早上5时进行部署时，无论我何时部署进程或执行气流更新，它都会在接下来的6点启动。
浏览 2提问于2021-02-20得票数 3
在我们的大数据项目中，有3000个表需要加载，所有这些表都应该由气流中的一个单独的DAG来处理。不幸的是，我们的版本是气流v1.x.x。我们已经注意到，当生成多个DAG时，气流/云编写器在任务执行之间明显较慢。当只生成10-20个DAG时，任务执行之间的时间要比我们有100-200个DAG快得多。当生成100
浏览 3提问于2021-11-06得票数 1
回答已采纳
然后转到webserver，刷新UI中的dag，将DAG状态切换到" on "，单击DAG尝试查看图形视图。
(尽管dag在airflow list_dags命令中看起来构建得很成功)或者see服务器页面显
浏览 5提问于2020-01-16得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
