腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(7455)
视频
沙龙
1
回答
Airflow
-
按
不带
时间
的
执行
日期
查找
特定
dag
id
的
dag
运行
、
、
我想要
查找
特定
dag
在
特定
执行
日期
的
所有
dag
运行
。 正如我在文档中读到
的
,这里有一个函数: 这样做
的
问题是,
时间
也需要完全相同。有没有办法,我可以只传递
日期
,并将检索所有的
运行
,无论是在一天中
的
什么
时间
?我知道我可以在事后过滤,从
dag
_
运行
,使用for循环所有dags
浏览 79
提问于2021-03-01
得票数 2
回答已采纳
4
回答
Apache
Airflow
scheduler不在计划
时间
触发
DAG
、
、
、
当我安排
DAG
在每天
的
特定
时间
运行
时,
DAG
根本不会
执行
。但是,当我重新启动
Airflow
when服务器和调度程序时,
DAG
在该
特定
日期
的
计划
时间
执行
一次,并且从第二天起不再
执行
。我使用
的
是带有python 2.7.6
的
Airflow
版本v1.7.1.3。下面是
DA
浏览 2
提问于2016-11-21
得票数 14
3
回答
如何检查何时为
特定
dag
安排了下一次
Airflow
DAG
运行
?
、
、
我设置了
airflow
并
运行
了一些day,计划每天
运行
一次"0 0** *“。 我想检查下一次计划
运行
特定
dag
的
时间
,但我看不到在管理员中哪里可以做到这一点。
浏览 1
提问于2018-09-07
得票数 12
回答已采纳
2
回答
如何
运行
一个简单
的
气流
DAG
、
我想在指定
的
日期
运行
一个简单
的
DAG
。我正在努力改变开始
日期
、
执行
日期
和回填之间
的
差异。
运行
DAG
的
命令是什么?以下是我尝试过
的
:当我第一次
运行
该命令时,任务正确地
执行
,但是当我再次尝试时,它没有工作。下面是我
运行
浏览 7
提问于2017-01-23
得票数 20
回答已采纳
1
回答
运行
具有气流
运行
的
守护进程:错误:需要以下参数: task_
id
、execution_date
如果我有一个easteregg.py文件:from datetime import timedelta, datetime, timefrom
airflow
.operators.dummy_operator import,
dag
=
dag
浏览 0
提问于2019-03-20
得票数 3
回答已采纳
1
回答
清除并回填每小时
运行
的
DAG
的
特定
实例?
我们有一个
按
小时
运行
的
气流数据集,任务更新和覆盖BigQuery中
的
日期
分区表。在对这些表
的
查询和/或模式进行调整之后,我们想要回填几天
的
现有分区,但是回填所有
运行
都是巨大
的
浪费,因为每小时
运行
一次只会覆盖相同
的
分区24次,然后再转到第二天。我们可以使用
airflow
list_
dag
_runs列出所有
运行
并筛选出每天
的</em
浏览 3
提问于2020-06-10
得票数 0
回答已采纳
5
回答
如何指示气流从最新到最旧进行回填
、
我有一个计划每天
运行
的
气流
DAG
。当我开始上个月
的
回填时,
Airflow
将开始处理从最旧到最新
的
运行
。由于单次
运行
需要几个小时,这意味着当新
的
运行
可用时(在回填过程中已经过去了一天),新
的
运行
将仅在整个回填完成后处理(导致公司无法获得最新数据)。是否可以指示气流从最新到最旧
的
流程
运行
?
浏览 3
提问于2018-07-18
得票数 7
5
回答
如何在
DAG
完成其在气流中
的
运行
时删除XCOM对象
、
、
我在XCOM中有一个巨大
的
json文件,稍后我不需要在进程
执行
完成之后,但是我仍然可以在UI中看到Xcom对象和所有数据,在完成
dag
运行
后,是否有任何方法以编程方式删除XCOM。 谢谢
浏览 2
提问于2017-10-12
得票数 18
回答已采纳
1
回答
Airflow
执行
日期
令人困惑
、
文件中提到,当调度人员在2016-01-02上午6点选择
DAG
时,将创建一次
DAG
运行
,execution_date为2016-01-01,下一次
运行
将在2016-01-03凌晨创建,
执行
日期
为2016调度间隔是
按
小时提供
的
,
执行
日期
是指
DAG
在结束时
运行
的
时间
段
的
开始,那么为什么不是在2016-01-02早上6点调度器挑选<e
浏览 77
提问于2021-04-25
得票数 1
2
回答
Airflow
:在周中触发每周工作
、
我有一个每周日
运行
的
作业,并生成关于最近X天数据
的
报告。我
的
任务接受两个参数:
执行
日期
(通过模板)和lookback X。然而,一时兴起,我决定今天(比方说星期三)生成一个类似的报告,它使用say作为
执行
日期
,但在其他情况下使用相同
的
逻辑和相同
的
回望周期X。在
airflow
( CL或webserver)上触发此类作业而不更改
dag
定义中
的
调度间隔
的</e
浏览 2
提问于2018-12-08
得票数 1
2
回答
如何获得气流中所有DagRun实例
的
最大/最小持续
时间
?
、
、
、
是否有一种方法可以在气流中找到 all DagRun实例
的
最大/最小甚至平均持续
时间
?也就是说,所有
dag
中
的
所有
dag
,而不仅仅是一个
dag
。在UI上,甚至在带有编程/命令行示例
的
页面上,我都找不到可以这样做
的
地方。
浏览 3
提问于2022-06-29
得票数 0
1
回答
不同调度间隔
的
气流ExternalTaskSensor
、
目前,我有两个
DAG
:
DAG
_A和
DAG
_B。
DAG
_A有一个Task1,通常需要7个小时才能
运行
。
DAG
_B只需3小时。
DAG
_B有一个ExternalTaskSensor(external_
dag
_
id
="
DAG
_A", external_task_
id
="Task1"),但也使用其他每小时生成
的
信息X。怎样才能提高
DAG</
浏览 2
提问于2021-07-15
得票数 3
回答已采纳
2
回答
如何通过
Airflow
自动
运行
整个Python脚本?
、
我有一个Python脚本,它指向elasticsearch集群,对数据
执行
聚合和计算,然后将洞察存储在本地PostgreSQL中。
Airflow
每10分钟
运行
一次。作为
DAG
1
执行
,后者
执行
bash命令python script.py --approach weekly from
airflow
.mode
浏览 1
提问于2021-02-25
得票数 2
2
回答
为什么任务在trigger_
dag
之后在
Airflow
1.10.2中停留在None状态
、
我有一个虚拟
的
DAG
,我希望通过将其start_date设置为today并将其调度间隔设置为daily来每隔一段
时间
启动#!
dag
=
dag
) 在
Airflow
1.9.0中,当我
执行
airflow
trigger_
dag
-e 20190701时,将创建
DAG
运行
,创建、调度和<
浏览 0
提问于2019-07-11
得票数 15
回答已采纳
2
回答
复杂气流交叉
DAG
依赖性
、
、
、
在我
的
气流中有两种类型
的
DAG
: 每小时三次DT1s触发。一次DT2 -每天触发一次(~10或11 PM)。
浏览 17
提问于2022-06-13
得票数 0
1
回答
查看on_failure_callback数据记录器
、
让我们以
DAG
为例。这是它
的
代码。import loggingfrom datetime import datetime, timedelta ) start_task = DummyOperator(task_
id
="start_task",
浏览 5
提问于2022-12-02
得票数 0
1
回答
Airflow
:从
DAG
中拉出XCom与未来
的
开始
日期
?
在
Airflow
中,我们使用xcoms来表示一个
DAG
已经完成,另一个可以开始
运行
。例如,
DAG
1在上午12点
运行
,并在完成时发送xcom。
DAG
2从
DAG
1读取xcom。使用这种方法
的
一个限制是,根据文档,xcom只能从
执行
日期
较早
的
DAG
中读取,但不能从未来
执行
日期
的
DAG
中读取。然后我有了
D
浏览 19
提问于2020-06-11
得票数 0
3
回答
气流默认变量-增量负载设置
、
因此,在阅读了一段
时间
有关
airflow
宏
的
内容后,我决定使用
airflow
默认变量来设置增量流。所以,算法是这样
的
,注意:下面的代码首先是为了理解默认变量,这还没有针对我上面提到
的
问题实现当
浏览 0
提问于2020-11-02
得票数 0
1
回答
不会被触发
、
、
、
、
我计划从今天( 2020/08/11 )开始,从周二到周六东部标准
时间
(NY)上午04:00
运行
DAG
。在编写代码和部署之后,我预计
DAG
会被触发。我刷新了几次我
的
气流用户界面页面,但它还没有触发。这是我
的
DAG
代码:This
DAG
executes a retrieval job # Required packages to execute
浏览 0
提问于2020-08-11
得票数 0
回答已采纳
2
回答
如何在
airflow
的
dag
中找到
特定
任务
的
开始
日期
和结束
日期
?
我使用kwargs‘execution’来获取
dag
的
执行
日期
,但它给出了调用整个
dag
的
时间
,但我需要
特定
任务在
airflow
中开始和结束
的
时间
。
浏览 2
提问于2020-05-02
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
大规模运行Apache Airflow的经验和教训
任务流管理工具-Airflow配置和使用
airflow 实战系列:基于 python 的调度和监控工作流的平台
没看过这篇文章,别说你会用Airflow
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券