2回答
我想知道我们是否可以安排一个DAG在完成2分钟后连续运行相同的DAG在气流中。我的DAG应该以这样的方式运行:每次它完成它的运行时，它必须等待2分钟，然后再次开始运行。我不想安排我的DAG每2分钟运行一次，相反，它应该在完成同一DAG的2分钟后继续运行。
浏览 0提问于2021-05-08得票数 0
回答已采纳
1回答
气流DAG触发
、、
我们最近尝试采用气流作为我们的“数据工作流”引擎，虽然我已经完成了大部分工作，但我仍然处在调度器如何计算何时触发DAG的灰色区域。('test_dag1', schedule_interval="5 * * * *", default_args=dag_options) as dag:
task1此外，在气流中，据我所知，当进程未暂停(或添加dags_are_paused_at_creation = False)时，
浏览 3提问于2017-07-26得票数 0
2回答
我只需要运行一次DAG，但要在10分钟前等待： with models.DAG( schedule_interval = '@once',start_date= datetime().now() + timedelta(minutes=10) , default_args=default_dag_args) as
浏览 21提问于2019-09-11得票数 0
1回答
我已经用postgreSSQL数据库配置了apache-airflow，在我的气流中我运行了1dag，现在它成功地运行了，但是如果调度程序有任何问题，那么我是如何获得它的，以及检查它的方法是什么，请给出一些想法和解决方案
浏览 4提问于2020-08-08得票数 3
1回答
我对气流很陌生。 'owner': 'crv',}
dag_id='score', schedule_interval
浏览 0提问于2021-01-29得票数 1
回答已采纳
2回答
我有以下DAG： 'owner': 'Airflow', 'start_date': datetime'retry_delay': timedelta(minutes=2), 'depends_on_past' : False,
with DAG(&#
浏览 3提问于2018-07-22得票数 1
有些每分钟运行一次，每天运行一次，还有一些使用cron每小时运行一次。现在我需要在气流中迁移。为此，根据气流的概念，我需要再创建20个文件(DAG文件)。airflow是否提供了创建通用dag模板的方法，该模板可以在给定的计划时间内使用不同的dag id执行所有的bash脚本？
我得到了一个参考- ，但我不确定，这是正确的方式还是错误的？
浏览 0提问于2020-01-07得票数 1
我有一个DAG，它需要每45分钟运行一次(00:00，00:45，1:30，2:15等等)我如何在气流中做到这一点。这个简单的cron条目如下所示：30 1-23/3 ***如何用上面的cron条目来安排DAG。
谢谢
浏览 3提问于2020-10-19得票数 0
回答已采纳
2回答
我正在使用EC2实例上的气流，使用LocalScheduler选项。我已经调用了airflow scheduler和airflow webserver，一切似乎都很好。也就是说，在将cron字符串提供给schedule_interval“每10分钟执行一次”之后，作业默认每24小时继续执行一次。下面是代码的标题：import osfrom airflow.o
浏览 10提问于2017-09-12得票数 10
回答已采纳
气流监测DAG位置为新的DAG，并捡起他们(每分钟左右)，而不需要重新启动。0100的运行将生成多少个文件？
浏览 2提问于2019-10-30得票数 0
回答已采纳
': False, 'retries': 1,}
Athena_Trigger_for_Task1sql="/sql
浏览 1提问于2020-04-16得票数 5
回答已采纳
Apache Airflow有MYSQL表，如dag、dag_run、作业
维护dag元数据字段，包括dag运行时。但是，如果这些表的频率和报告查询负载增加，则让外部查询作业查询这些生产气流表以检查上次运行完成可能不是一个好的设计实践。另一个可能的选择是在airflow dags中添加python代码来维护另一个单独的数据库表，这将保存每个运行的dag任务的dag id及其运行时元
浏览 0提问于2018-12-10得票数 0
回答已采纳
在的帮助下，我刚刚编写了一个程序(如文章中所示)，当一个文件放置在S3桶中时，会触发运行中的一个DAG中的任务，然后使用BashOperator执行一些工作。一旦完成，DAG就不再处于运行状态，而是进入成功状态，如果我想让它获取另一个文件，我需要清除所有的“过去”、“未来”、“上游”、“下游”活动。我想要使这个程序，使它始终运行和任何时候，一个新的文件被放置在S3桶中，程序开始任务。
我是否可以继续使用S3KeySenor来完成这个任务，或者是否需要找到一种方法来设置一个来运行<
浏览 1提问于2018-05-29得票数 25
回答已采纳
如何安排气流作业在1-3之间每30分钟进行一次投票和运行？cron语法2在气流中工作吗?或者需要任何额外的代码来轮询DAG，从1到3每30分钟进行一次？
浏览 0提问于2021-08-10得票数 0
我有一个气流DAG，每次从REST端点得到特定响应时都需要触发。我需要在一个特定的时间间隔(几分钟)检查这个端点。我一直在研究如何实现这一点，并发现了两种不同的方法：
只需安排我的DAG每2分钟运行一次，并在DAG的第一个任务中检查http端点。我的猜测是: 1)当传感器每隔X秒调用端点时，DAG总是在运行；2)如果来自API的响应为
浏览 3提问于2021-03-13得票数 0
回答已采纳
1回答
在实现气流时，我们遇到的问题之一是，我们的大部分连接似乎都是一个挑战。
在通过SSH解决了一些连接之后，我现在面临的是短暂的密码问题:我们的一些连接需要密码才能被请求到另一个服务。
浏览 1提问于2018-05-08得票数 0
回答已采纳
1回答
我的一些气流dags没有按照计划执行：如你所见，这里有两个dags，应该在02-11上的5:00和8:00UTC运行，但没有运行。这是为0 5,17 *计划的dag定义的相关信息 'owner' : 'airflow', 'retry_delay' :timedelta(minutes=5)
dag = DAG</
浏览 0提问于2021-02-11得票数 1
Dag 1 ->具有任务顺序的文件Dag 2 ->运行任务如何使用气流在两个DAG之间传递这些数据。解决方案与问题
使用气流变量的问题在于，我无法在运行时设置它们。使用Xcoms的问题是，它们只能在任务阶段运行，并且一旦在Dag 2中创建了任务，它们就设置好了，并且不能更改正确吗？将文件
浏览 1提问于2021-10-21得票数 0
我想用气流DAG来处理一些工作。我已经安排了每25分钟表达一次，比如*/25 * * * *。例如，它似乎运行在6:25，6:50和7，但我想在7:15运行，而不是在7:15运行。作为另一种选择，我想知道，如果我手动触发DAG，下一个触发器是否会受到此影响，就像下一个触发器会被延迟一样，还是会按自己的计划继续进行。
我使用的气流版本是1.10.4。
浏览 1提问于2019-10-20得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
