1回答
每月某天和时间的Airflow DAG计划
airflow、apache-airflow、airflow-scheduler
我们一直在将cron作业转换为Airflow DAG，我很难弄清楚DAG在Airflow中的调度方式。一些day需要在一天中的特定时间(即上午7点)运行，其他day需要在一个月的特定日期/时间运行(即每月15日上午6点)。
一般来说，Airflow似乎每天都能正确运行</em
浏览 2提问于2017-05-29得票数 4
4回答
Apache Airflow scheduler不在计划时间触发DAG
python、cron、airflow、directed-acyclic-graphs
当我安排DAG在每天的特定时间运行时，DAG根本不会执行。但是，当我重新启动Airflow when服务器和调度程序时，DAG在该特定日期的计划时间执行一次，并且从第二天起不再执行。我使用的是带有python 2.7.6的Airflow版本v1.7.1.3。下面是DAG代码：
浏览 2提问于2016-11-21得票数 14
1回答
在catchup=False中，气流DAG没有在指定时间运行
airflow、apache-airflow
我有一个气流DAG，这是没有意义的回填。我想，使用气流1.8，你可以给DAG参数catchup=False，所以它只会开始最近的工作。也就是说，我想让DAG从午夜开始，每天运行。但。这就是现在的事情: DAG立即开始，而不是在午夜。另外，当我清除所有DAG运行时，它将立即重新启动。然后DAG将每天运行，但将在错误的</e
浏览 3提问于2017-11-22得票数 2
回答已采纳
1回答
无法使Airflow DAG在每天的特定时间运行
airflow、airflow-scheduler
我正在尝试安排气流DAG，但无法成功完成。我有一个有效的开始日期。我想安排它在每天早上5:30运行，但在过去的几天里我不得不手动触发它。下面是我的计划间隔：schedule_interval='30 5 0 0 0'。我也尝试过使用不同的语法：schedule_interval='30 5 * * *'，但是不能让它工作。下面是我的完整代码： default_dag_args
浏览 69提问于2020-09-16得票数 1
回答已采纳
1回答
我正在使用Airflow 设置交叉依赖的DAGS。我有一个特定的使用案例，其中我的DAG B要求DAG A首先运行-但是，如果DAG A延迟足够长时间，DAG B仍应运行。因此，我本质上是在寻找一种方法来连接两个传感器之间的OR操作。假设DAG B需要每天下午5点运行，那么我将在代码中这样做：
浏览 12提问于2020-09-03得票数 1
1回答
清除并回填每小时运行的DAG的特定实例？
airflow
我们有一个按小时运行的气流数据集，任务更新和覆盖BigQuery中的日期分区表。在对这些表的查询和/或模式进行调整之后，我们想要回填几天的现有分区，但是回填所有运行都是巨大的浪费，因为每小时运行一次只会覆盖相同的分区24次，然后再转到第二天。我们可以使用airflow list_dag_runs列出所有运行并筛选出每天的最后一个
浏览 3提问于2020-06-10得票数 0
回答已采纳
2回答
Airflow -阻止dagrun在部署/取消暂停后立即运行
airflow、airflow-scheduler
当我将dag部署为在特定时间运行时(例如，每天上午9点运行一次)，Airflow会在部署时立即运行dag。dag = DAG(default_args=default_args,start_date = datetime“只在<
浏览 35提问于2021-10-13得票数 2
1回答
不会被触发
python、cron、airflow、google-cloud-composer、pendulum
我计划从今天( 2020/08/11 )开始，从周二到周六东部标准时间(NY)上午04:00运行DAG。在编写代码和部署之后，我预计DAG会被触发。我刷新了几次我的气流用户界面页面，但它还没有触发。这是我的DAG代码：This DAG executes a retrieval job
# Required packages to execute
浏览 0提问于2020-08-11得票数 0
回答已采纳
1回答
消息到达AWS SQS队列后触发Airflow DAG
amazon-web-services、airflow、amazon-sqs
是否可以在消息到达SQS队列时安排DAG运行？我还需要dag来处理队列中的消息。据我所知，这可以通过使用SQSSensor来完成，但我找不到任何示例，我对如何前进感到困惑。
浏览 24提问于2021-08-02得票数 0
1回答
airflow schedule_interval不工作
airflow
我的DAG是这样的，
t1 = BashOperator(task_id = 'testing_task',bash_command = 'python /home/ubuntu/airflow</em
浏览 30提问于2018-02-08得票数 1
回答已采纳
2回答
如何通过Airflow自动运行整个Python脚本？
python、airflow
我有一个Python脚本，它指向elasticsearch集群，对数据执行聚合和计算，然后将洞察存储在本地PostgreSQL中。该脚本可以每天或每周运行，具体取决于用户首选项，如下所示：python script.py --approach weekly
我想让这个数据流工作流程通过Airflow每10分钟运行一次。作为DAG1执行，后者执行bash命令python script.py --approach wee
浏览 1提问于2021-02-25得票数 2
3回答
我使用Airflow来管理ETL任务的执行和调度。已经创建了一个DAG，它工作正常。但是当通过cli手动触发dag时传递参数是可能的吗。例如:我的DAG每天下午1点半运行，处理昨天的数据(时间范围从昨天下午1点半到今天1点半)。数据源可能存在一些问题。我需要重新处理这些数据(手动指定时间范围)。因此，我是否可以创建这样一个气流DAG，当它被安排时，默认时间
浏览 0提问于2018-12-07得票数 37
回答已采纳
3回答
如何检查何时为特定dag安排了下一次Airflow DAG运行？
python、scheduled-tasks、airflow
我设置了airflow并运行了一些day，计划每天运行一次"0 0** *“。
我想检查下一次计划运行特定dag的时间，但我看不到在管理员中哪里可以做到这一点。
浏览 1提问于2018-09-07得票数 12
回答已采纳
1回答
如何在气流中使用具有多个schedule_intervals的同一DAG？
airflow、airflow-scheduler
我有一个DAG，我传递了各种配置，我想传递的设置之一是它应该多久运行一次。据我所见，没有办法在配置中轻松地通过调度。我唯一的解决方案是用完全相同的代码制作多个DAG，但时间表不
浏览 5提问于2022-05-29得票数 4
3回答
如何安排两个DAG在两个不同的schedule_intervals中运行，但第二个只在第一个完成后运行
python、airflow、scheduling、directed-acyclic-graphs
我有两个不同的DAG需要在不同的频率上运行。一种是dag1需要每周运行一次，dag2需要每天运行。现在，dag2应该只在dag1完成时运行，在每次运行dag1时都会运行。我在两个不同的python模块中定义了两个DAG，如下所示。with
浏览 2提问于2019-08-26得票数 0
回答已采纳
2回答
重新处理气流的历史数据
airflow、airflow-scheduler
假设我有一个简单的DAG，它创建/覆盖许多日常表: my_table_a_YYYYMMDD、my_table_b_YYYYMMDD、my_table_c_YYYYMMDD…… 它基本上使用BigQueryOperator在daily_basis上运行当前日期的SQL语句，该日期是使用airflow {{ ds }} variable在SQL文件上模板化的。假设我刚刚发现了我的.sql文件的一个问题，
浏览 16提问于2020-01-08得票数 2
2回答
使用Airflow按需并有计划地运行参数化作业
celery、airflow
我有一个报告应用程序，它使用芹菜每天处理数千个作业。每种报告类型都有一个python模块，用于封装所有作业步骤。作业采用特定于客户的参数，通常在几分钟内完成。目前，作业是由客户在创建新报告或请求刷新现有报告时按需触发的。
现在，我想添加计划，以便每天运行作业，并自动刷新报告。我知道Airflow在任务编排和调度上大放异彩。我也喜欢将我的工作表达为DAG并从任务重试中获益的想法。我可以看到如何使用<e
浏览 0提问于2020-10-28得票数 0
1回答
Apache Airflow - Dag即使定义了start_date和schedule_interval也无法启动
airflow-scheduler、airflow
我是Airflow的新手，但我已经定义了一个Dag，每天上午9点发送基本的电子邮件我的DAG如下： from airflow import DAGfrom airflow.operators.bash_operator import BashOperator
from airflow.operators.email_
浏览 31提问于2021-06-26得票数 2
回答已采纳
1回答
考虑夏令时的气流计划
airflow、schedule
我有一个Airflow dag，我需要同时计划它，无论它是标准时间还是夏令时，但airflow服务器和cron计划是基于utc的。它需要在数据库恢复发生后运行，并且该服务器根据本地时间运行恢复。这导致我不得不将它安排在夏令时的一个小时后。有没有办法让airflow在同一时间运行作业，无论是夏令时还是标准时间？
例如，数据库恢复在
浏览 0提问于2018-09-14得票数 2
2回答
气流不能从DAG中提取"start_date“
airflow、airflow-scheduler
我正在注册一个新的DAG：from airflow.operators.python_operator import PythonOperator我希望在start_date中给出的时间只运行一次。在上传了DAG (使用S3)之后，我没有看到详细的"start_date“。我是否正确地假设这应该在给定的sta
浏览 4提问于2020-06-19得票数 0
回答已采纳
云服务器
对象存储
ICP备案
云点播
腾讯会议
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号