AirFlow未运行计划
AirFlow是一个开源的任务调度和工作流管理平台，用于在云计算环境中自动化和编排数据处理任务。它提供了一个可视化的用户界面，使用户能够轻松地定义、调度和监控复杂的工作流。
AirFlow的主要特点包括：
- 可编程性：AirFlow使用Python编写，允许用户通过编写Python脚本来定义工作流和任务。
- 可扩展性：AirFlow提供了丰富的插件系统，用户可以根据自己的需求扩展和定制功能。
- 可视化界面：AirFlow提供了一个直观的Web界面，用户可以通过该界面轻松地创建、调度和监控工作流。
- 弹性调度：AirFlow支持基于时间、依赖关系和事件触发的任务调度，可以根据实际需求灵活地调整任务的执行时间和顺序。
- 监控和报警：AirFlow提供了丰富的监控和报警功能，用户可以实时监控任务的执行状态和性能指标，并及时发现和解决问题。
AirFlow适用于各种数据处理场景，包括数据清洗、数据转换、数据分析、机器学习模型训练等。它可以帮助用户提高数据处理的效率和准确性，降低人工干预的成本和风险。
腾讯云提供了一款与AirFlow功能相似的产品，即腾讯云数据工作流（Tencent Cloud Data Flow，简称CDF）。CDF是一个全托管的数据处理和工作流管理服务，基于AirFlow开发而成，提供了更多与腾讯云生态系统集成的特性和功能。用户可以通过腾讯云控制台或API来创建、调度和监控工作流，并且可以与腾讯云的其他服务（如腾讯云对象存储、腾讯云数据库等）无缝集成。
腾讯云数据工作流产品介绍链接：https://cloud.tencent.com/product/cdf
相关·内容
1回答
在python中执行定义为DAG的任务的简单方法？
python、flask、airflow、google-cloud-run、directed-acyclic-graphs
我正在以一种复杂的方式运行一系列相互依赖的任务。我想将这些依赖关系描述为DAG (有向无环图)，并在需要时执行该图。我一直在关注airflow，并写了一个虚拟脚本： from datetime import datetime
from airflow.operators.python="3", python_callable=cloud_runner)
first_task >> [second_task, second_task_
浏览 64提问于2021-10-16得票数 0
1回答
AirFlow未运行计划
airflow、airflow-scheduler
我有一个非常简单的dag，它应该在每周一19:10运行。dag如下： from airflow.models import DAGfrom airflow.operators.bash_operatorimport BashOperator
with DAG(dag_id='schedule_test_weekl
浏览 25提问于2021-04-06得票数 1
回答已采纳
1回答
气流DAG下一次运行卡在过去。
python、airflow
下一个气流DAG运行的‘0014** 1,2,3,4,5’计划间隔是2022-10-31，14 :00，这是5小时前。是否可以跳过未执行的运行而不实际运行DAG？我也尝试过:手动触发DAG。将计划间隔更改为现在并运行DAG将创建3天的日志(2022-10-28，19:29:00)。将追赶改为True并不会执行任何新的运行。DEFAULT_ARGS = {
"owner": Variable.get('air
浏览 1提问于2022-10-31得票数 0
3回答
如何在Airflow中设置SLA？
airflow、airflow-scheduler
我将服务级别协议设置为30秒，我希望在30秒后在中看到记录-在服务级别协议未命中-但这并没有发生。我做错了什么？
浏览 3提问于2017-05-19得票数 10
2回答
为什么airflow返回两个不同的DAG列表？
airflow
如果我运行命令airflow list_dags，它将返回一个DAG列表。但是，DAG列表与我在web界面中DAG选项卡下看到的DAG列表不同。airflow list_dags命令仅返回教程DAGs，而不返回airflow/dags目录中的DAGs。
为什么airflow为我提供了两个不同的DAG列表？我运行的是Airflow 1.8.1。
浏览 0提问于2017-08-01得票数 2
1回答
Airflow DAG未按计划运行
python-3.x、airflow、airflow-scheduler
未触发Airflow DAG。DAG计划在UTC时间每周日15:15运行---Test Code
"owner":"***", catchup=False,
d
浏览 7提问于2019-07-15得票数 0
1回答
无法使用Airflow创建我的pyspark脚本的cron作业
apache-spark、airflow、airflow-scheduler
我有一个pyspark脚本，它现在工作得很好，我想做的是，我想为每一分钟安排该作业，为此，我使用了Apache Airflow，我为airflow创建了一个.py文件，如下所示： from airflowimport osimport airflowfrom airflow.operators.dummy_operatorspark-2.4.0-bin-hadoop2.
浏览 24提问于2019-04-08得票数 0
2回答
可以在没有调度器的情况下使用Apache Airflow进行编排任务吗？
java、python、workflow、airflow、airflow-scheduler
我正在尝试使用Apache Airflow框架开发一个编排架构，但我不希望DAG以预定的方式运行。 我读到Apache Airflow框架可以用于服务编排。可以在没有调度程序的情况下使用Apache Airflow吗？有没有其他框架(Java或Python)可以推荐给我呢？ 谢谢！:)
浏览 21提问于2019-06-12得票数 2
2回答
Airflow:在周中触发每周工作
airflow、airflow-scheduler
我有一个每周日运行的作业，并生成关于最近X天数据的报告。我的任务接受两个参数:执行日期(通过模板)和lookback X。在airflow ( CL或webserver)上触发此类作业而不更改dag定义中的调度间隔的最简单方法是什么？我仍然希望我的工作在接下来的星期天继续运行，同时能够根据需要不定期地运行。
浏览 2提问于2018-12-08得票数 1
1回答
已清除气流的回填任务不会被调度程序挑选
airflow
当清除成功回填运行中的任务时，将创建具有运行状态的DagRun，但调度器不会拾取该任务。这是预期的行为吗？如果有许多这样的回填，并且执行了DagRuns命令，则所有DagRuns将同时运行，而不是在max_active_runs参数之后运行。到目前为止，我发现的唯一解决办法是清除任务，然后通过UI将dagrun(而不是任务实例)标记为成功，然后运行回填。
浏览 1提问于2019-04-17得票数 4
1回答
气流芹菜作业卡在运行状态
postgresql、rabbitmq、celery、airflow
所有airflow计划作业都将进入running状态，但它们永远不会运行。我在rabbitmq日志或airflow日志中没有看到任何错误。任何帮助我们都将不胜感激broker_url = amqp://guest:guest@127.0.0.1/airflow
celery_result_backend= db+postgresql://airflow:airflow@127.0.0.1
浏览 3提问于2018-09-12得票数 0
1回答
每月某天和时间的Airflow DAG计划
airflow、apache-airflow、airflow-scheduler
我们一直在将cron作业转换为Airflow DAG，我很难弄清楚DAG在Airflow中的调度方式。一些day需要在一天中的特定时间(即上午7点)运行，其他day需要在一个月的特定日期/时间运行(即每月15日上午6点)。然而
浏览 2提问于2017-05-29得票数 4
2回答
升级postgresql版本时应该使用airflow upgradedb吗？
postgresql、airflow
我计划将postgresql数据库从9.5升级到9.6或12+。但是Airflow版本将保持不变(1.10.12)，是否有任何理由运行airflow upgradedb命令，或者只有在升级实际的airflow版本时才需要该命令？
浏览 54提问于2021-02-03得票数 1
1回答
DAG成功完成-深绿色圆圈与浅绿色圆圈的区别
directed-acyclic-graphs、google-cloud-composer、airflow
在DAG成功运行时，深绿色(被黑线包围)和浅绿色圆圈有什么不同(参见附件中的快照，其中最后三个圆圈为浅绿色，其余为深绿色)。 DAG Successful
浏览 18提问于2020-11-23得票数 0
回答已采纳
3回答
如何将airflow scheduler作为守护进程运行？
google-compute-engine、scheduler、airflow
我尝试将airflow scheduler作为守护进程运行，但该进程不会持续很长时间。我已经在airflow.cfg文件中配置了"LocalExecutor“，并运行以下命令来启动调度器(我正在使用谷歌计算引擎并通过PuTTY访问服务器)。airflow scheduler --daemon --num_runs=5 --log-file=/root/airflow/logs/scheduler.log
当我运行此命令时
浏览 6提问于2016-09-08得票数 10
3回答
如何检查何时为特定dag安排了下一次Airflow DAG运行？
python、scheduled-tasks、airflow
我设置了airflow并运行了一些day，计划每天运行一次"0 0** *“。
我想检查下一次计划运行特定dag的时间，但我看不到在管理员中哪里可以做到这一点。
浏览 1提问于2018-09-07得票数 12
回答已采纳
2回答
如何运行一个简单的气流DAG
python、airflow
我想在指定的日期运行一个简单的DAG。我正在努力改变开始日期、执行日期和回填之间的差异。运行DAG的命令是什么？以下是我尝试过的：当我第一次运行该命令时，任务正确地执行，但是当我再次尝试时，它没有工作。下面是我运行的另一个命令：我不知道这个命令能带来什么结果。day会从23天执行到24天吗？在运行上述
浏览 7提问于2017-01-23得票数 20
回答已采纳
3回答
Airflow:无法连接到('0.0.0.0'，8080)
python、airflow
我在Ubuntu 16.04上，我已经安装了带有pip的Airflow。下一步[2017-07-29 12:20:23,483] {__init__.py:57} INFO - Using executor SequentialExecutorDB: sqlite:////home/milenko/airflow/airflow.db
[2017-07-29 12:20:23,813] {db.py:287} INFO -
浏览 0提问于2017-07-29得票数 6
回答已采纳
1回答
如何拆卸气流安装
python、ubuntu、airflow
我试过pip uninstall airflow和pip3 uninstall airflow，然后都回来了
我想完全消除气流，并运行干净安装。
浏览 0提问于2019-08-28得票数 1
回答已采纳
2回答
apache-airflow 1.9默认时区设置为非utc
timezone、utc、airflow、apache-airflow
我最近将airflow版本从airflow 1.8升级到apache-airflow 1.9，升级成功，我使用Celery Executor扩展了环境，一切似乎运行正常，但dag和任务开始日期、执行日期等都显示在UTC时区，计划的dag在UTC运行，在升级之前他们使用的是本地时区，即pdt。关于如何将pdt设置为airflow中的默认时区，有什么建议吗？我尝试在airflow.cfg中使用default_timezone连接到default_timez
浏览 2提问于2018-01-11得票数 11
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
