airflow可以用来运行一个永无止境的任务吗？
Airflow是一个开源的任务调度和工作流管理平台，可以用来管理、调度和监控各种类型的任务。它提供了一个可视化的界面，可以方便地创建、调度和监控任务的执行。
Airflow可以用来运行一个永无止境的任务。通过配置Airflow的调度器和执行器，可以实现周期性地执行任务，例如每天、每小时或每分钟执行一次。对于永无止境的任务，可以将其配置为每隔一定时间执行一次，从而实现长期运行。
Airflow的优势在于其灵活性和可扩展性。它支持多种类型的任务，包括批处理任务、定时任务、数据处理任务等。同时，Airflow提供了丰富的插件和扩展机制，可以根据需求定制和扩展功能。
Airflow的应用场景非常广泛。它可以用于数据处理和ETL流程的调度和监控，可以用于机器学习模型的训练和部署，可以用于定时任务的执行和监控等。在云计算领域，Airflow可以与其他云服务和工具集成，实现更复杂的任务调度和工作流管理。
对于使用腾讯云的用户，推荐使用腾讯云的Serverless Workflow服务来替代Airflow。Serverless Workflow是一种无服务器的工作流服务，可以帮助用户轻松构建和管理工作流。它提供了可视化的界面和丰富的功能，可以满足各种任务调度和工作流管理的需求。
腾讯云Serverless Workflow产品介绍链接：https://cloud.tencent.com/product/swf
相关·内容
0回答
airflow可以用来运行一个永无止境的任务吗？
airflow、apache-airflow、airflow-scheduler
我们是否可以使用气流dag来定义一个永无止境的工作(即，是否通过将任务/dag超时设置为None并手动触发其运行，来创建一个具有无条件循环以使用流数据的任务？让airflow监控一个永无止境的任务会导致问题吗？谢谢
浏览 2提问于2017-12-11得票数 4
回答已采纳
3回答
运行码头集装箱的码头内的气流
docker、airflow
我有一个在EC2实例上运行的airflow，并且我正在安排一些任务来启动一个码头容器。我该怎么做？我需要在我的气流容器上安装docker吗？以及下一步是什么。我有一个用来启动容器的yaml文件，它派生自puckel/airflow Docker镜像
浏览 2提问于2017-04-13得票数 10
1回答
Airflow调度器内存不足问题
airflow、airflow-scheduler
在OOM的时刻，我们只运行了4个示例Dags (大约20个任务)。pod的内存是1Gib。我在其他帖子中看到，一个任务在运行时可能会消耗大约50Mib的内存，所有的任务操作都在内存中，没有任何东西被刷新到磁盘，所以已经有1 1Gb了。有没有什么经验法则可以用来计算基于并行任务的调度器需要多少内存？
除了降低并行度之外，是否有任何调整可以用
浏览 92提问于2018-08-28得票数 5
回答已采纳
2回答
气流1.10 -未知任务流道类型StandardTaskRunner
airflow、airflow-scheduler
我刚在一个服务器上安装了气流1.10在那之后我可能也做了这个但是无论如何，当我运行airflow version时，我会得到以下输出
[ec2-user@ip-1-2-3-4 ~]$ airflow我能够运行airflow initdb、<e
浏览 0提问于2018-08-29得票数 8
5回答
Airflow任务停留在“已排队”状态，永远不会运行
airflow、apache-airflow、airflow-scheduler
我使用的是Airflow v1.8.1，并在kubernetes & Docker上运行所有组件(worker、web、flower、scheduler)。我在Redis中使用Celery Executor，我的任务如下： ├ -> (do_work_for_product2)并按如下方式设置并发相关配置：dag_concurrency = 3
max_active_run
浏览 3提问于2017-08-24得票数 25
1回答
气流清除自动触发任务？
airflow
我正在运行airflow clear -t task_regex -s 2019-02-23 -e 2019-02-24 dag_id来清除任务，然后重新运行。但是，Airflow会自动将此任务排队等待运行，而不是等待我运行airflow backfill。这是我可以更改的设置吗？而且，它看起来只让其中的一些人排队运行，而不是其他人。换句话说，在
浏览 2提问于2019-02-27得票数 0
1回答
如何在单元测试中测试气流？
python、unit-testing、pytest、airflow
我试图在测试环境中使用多个任务来测试一个守护进程。我能够测试与dag关联的单个任务，但我希望在dag中创建多个任务，并启动第一个任务。用于测试我正在使用的dag中的一个任务。但是，当我在后台的下游有一个接一个的任务时，同样的情况就不起作用了。from airflow impo
浏览 0提问于2018-04-24得票数 13
1回答
我正在使用Astronomer运行Airflow v1.10.10。每个dag运行(每天)可以有不同数量的任务。此任务数将由给定dag运行(即当天)的数据库表中的行数定义。我将在dag文件中运行一个查询，并创建一个如下列表：然后，我将根据列表
浏览 2提问于2021-06-03得票数 0
1回答
我们能在通过Google BigQuery运行的查询上实现数据谱系吗？
google-cloud-platform、google-bigquery、airflow、google-cloud-composer
谁能帮我提供一些建议，告诉我如何在基于谷歌BigQuery的DW类型解决方案上实现数据谱系，使用谷歌云存储作为源，使用谷歌云组合器作为工作流管理器来实现一系列SQL。
浏览 0提问于2018-10-15得票数 0
2回答
将气流调度程序作为守护进程运行的问题
python、amazon-ec2、ubuntu-16.04、airflow、apache-airflow
我有一个EC2实例，它使用LocalExecutor运行气流1.8.0。第一个命令似乎可以工作，但它在返回终端之前只返回以下输出，而不产生任何后台任务：
[2017-09-28 18:15:02,794] {__init__.py:57} INFO - Using executor虽然在这个实例上运行的DAG要复杂得多，但是可以创建一个简单的测试，该测试还可以充当监听器，让我知道调度程序何时按计划<
浏览 2提问于2017-09-28得票数 15
回答已采纳
2回答
根据气流中的上游任务杀死下游任务
python、airflow
我有一个DAG，其中我有两个任务。provide_context=True, xcom_push=True,第一个任务在S3中查找文件，如果文件可用，那么任务应该是成功的，数据应该使用下游任务加载到雪花中。我的要求是，如果文件不可用，那么task1需要发送邮件，那么它应该停止下游任务(Task2)。是否
浏览 4提问于2021-06-24得票数 1
回答已采纳
1回答
用气流测试和DebugExecutor调试气流任务
debugging、testing、airflow
我在我的IDE中寻找运行/调试任务和dags的最佳方法。我看到有两种方法可以这样做。我可以在调试模式下运行airflow test命令，用于特定的进程和可选的任务。其他方法是使用DebugExecutor并运行特定的dag。我看到这两种方法都要求气流数据库已经启动并运行，并且所有池都配置好了(可能还需要队列)。我的问题
浏览 5提问于2020-11-29得票数 5
回答已采纳
1回答
从Python源代码中触发气流DAG，找不到Sqlite "dag“
python、sqlite、jupyter-notebook、environment-variables、airflow
我想从Python脚本(实际上是木星笔记本)中调用一个气流DAG定义。/path-to-env-file/.envprint(os.getenv("AIRFLOW_HOME"))
Sqlite以前是用airflow db init (相同的旧<em
浏览 8提问于2022-02-24得票数 1
2回答
Apache气流-触发/计划DAG在完成时重新运行(文件传感器)
triggers、airflow、directed-acyclic-graphs
我也在尝试建立一个DAG
使用教程在线和堆栈溢出，我已经能够找到以下的DAG和操作符，成功地实现了目标，但是我希望DAG在完成时被重新安排或重新运行，所以它开始监视/感知另一个文件。我尝试设置一个变量max_active_runs:1，然后设置一个schedule_interval: timedelta(seconds=5)，这是重新安排DAG的时间，但是开始排队任务</e
浏览 3提问于2017-06-26得票数 10
回答已采纳
1回答
Airflow DAG任务在我运行DAG时不运行，尽管任务在测试时工作正常
airflow、amazon-ecs
： data-push-for-bluedata-push-for-yellow 然后，我通过在终端中输入以下内容来测试运行我的一个任务： airflow rundata-push data-push-for-blue 2017-1-23 这将运行任务，我可以在aws仪表板上看到该任务出现在我的ECS群集中，因此我知道该任务在我的ECS群集上<
浏览 49提问于2020-08-02得票数 1
回答已采纳
1回答
气流网络服务器也启动工作人员。
airflow
问:为什么airflow webserver也要启动工人？$ airflow webserver$ airflow worker# Num
浏览 0提问于2018-08-09得票数 2
回答已采纳
1回答
不同conda环境下的Python任务和DAG
python、python-3.x、anaconda、conda、airflow
假设我的AirFlow中的大多数DAG和任务都应该在与AirFlow服务器相同的机器上运行Python代码。
可以让不同的使用不同的conda环境吗？如果是的话，我该如何做呢？例如，我可以使用Python操作符吗？或者，这是否会限制我使用 conda环境，而我使用的是安装 AirFlow的环境。更普遍地说，理想
浏览 0提问于2018-10-14得票数 6
回答已采纳
1回答
气流中的弹性伸缩任务
airflow
我想使用airflow进行图像处理。 我有4个任务:图像预处理(A)，边界框查找(B)，分类(C)，图像最终确定(D)。图表如下所示： A -> B1 -> C \ -> B3 -> C /
-> Bn -> C / 图像预处理任务的输出是边界框建议的列表，对于每个边界框，我运行分类，一旦所有分类任务结束，我就运行图像finalize
浏览 16提问于2019-05-06得票数 0
2回答
我有一个包含数万个任务的Apache Airflow DAG，在运行之后，我发现其中有几个任务失败了。 我修复了导致某些任务失败的错误，我只想重新运行失败的任务。这篇SO帖子建议使用图形用户界面“清除”失败的任务： How to restart a failed task on Airflow 如果您有少量失败的任务</
浏览 50提问于2018-12-27得票数 11
回答已采纳
1回答
对队列和WorkerGroup工作感到困惑吗？
apache-dolphinscheduler
描述一下sql/ dolphinscheduler_mysql.sql调度器-postgre.sql的源代码有t_ds_worker_group ddl，而Postgre.sql没有的问题。当我定义一个队列和工作组时，它是如何工作的？哪个版本的DolphinScheduler：-1.3.2 其他上下文我知道airflow worker(celery executor)可以从队列开始使用来自mq的命令，任务可以</em
浏览 18提问于2021-04-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
