腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
是否
可以
在
Airflow
中
以
编程
方式
在
特定
时间
间隔
后
强制
将
DAG
中
的
任何
任务
标
记为
成功
?
python-3.x
、
airflow
我有一个
DAG
,它有一个从API获取数据
的
任务
。我希望该
任务
仅在
特定
的
时间
间隔
内获取数据,并将其自身标
记为
成功
,以便之后
的
任务
开始运行。 请注意,下面的
任务
依赖于我要标
记为
成功
的
任务
。我知道我
可以
从CLI或UI手动标记
任务
成功
,但我希望自动
浏览 8
提问于2020-02-24
得票数 0
回答已采纳
1
回答
如何避免
在
Airflow
中
运行以前
成功
的
任务
?
python
、
airflow
我有多个相互传递数据对象
的
任务
。
在
某些
任务
中
,如果某些条件不满足,我
将
引发一个异常。这会导致该
任务
的
失败。触发下一次
DAG
运行时,已
成功
的
任务
将
再次运行。我正在寻找一些方法来避免运行以前
成功
的
任务
,并在下一次
DAG
运行
中
从失败
的
任务
恢复<e
浏览 29
提问于2019-06-05
得票数 0
回答已采纳
2
回答
在
回填/清除旧
DAG
时,dagrun_timeout
是否
会干扰?
airflow
、
airflow-scheduler
我有一个类似下面的
DAG
,dagrun_timeout设置为4小时。当我转到UI并从start_date
中
清除所有要呈现
的
任务
时,所有
DAG
都设置为正在运行状态。4小时
后
,
任何
未将自身标
记为
成功
的
DAG
都将被标
记为
失败,即使它们尚未实际启动。我想知道这
是否
是故意
的
行为。如果我想
以
这种
方式
重新运行
DAG<
浏览 54
提问于2019-06-15
得票数 2
回答已采纳
2
回答
google环境
中
的
环境健康意味着什么?
google-cloud-platform
、
google-compute-engine
、
airflow
、
google-cloud-composer
在
google环境
中
,有选项卡监控,它包含环境概述部分,第一个度量标准是环境健康。环境健康--显示编写器部署
的
运行状态
的
时间
线。绿色状态并不意味着所有气流部件都
可以
运行,
DAG
也
可以
运行--它只反映了作曲家部署
的
状态。 但不确定环境有什么问题,以及当它发生时如何修复它。即使我
的
环境健康显示不健康,所有其他指标都是健康
的
浏览 0
提问于2021-04-02
得票数 2
回答已采纳
2
回答
Airflow
中
的
文件依赖
python
、
shell
、
dependencies
、
airflow
、
airflow-scheduler
我有一个气流
DAG
,我想在每个月
的
特定
日期触发它。这是一个表迁移
任务
,所以我不想移动它,除非目录
中
的
表已经更新。 只有
在
该目录中有某个文件时,我才能执行类似
DAG
在那天执行
的
操作?或者有更好
的
方法来做这件事,比如检查文件
是否
已经更新。 请给我一些解决方案和方法。
浏览 47
提问于2019-12-09
得票数 0
1
回答
[
Airflow
]防止
在
部分
dag
重新运行期间意外运行新
任务
airflow
在
airflow
中
,如果您将新
任务
添加到
dag
,然后
在
旧
dag
运行
中
清除其下游
任务
,则
airflow
将
首先运行您刚刚添加
的
新
任务
。例如:
在
T+1
中
,我们
在
中间添加了一个新
任务
C:A >> C
浏览 0
提问于2021-05-13
得票数 1
1
回答
消息到达AWS SQS队列
后
触发
Airflow
DAG
amazon-web-services
、
airflow
、
amazon-sqs
是否
可以
在
消息到达SQS队列时安排
DAG
运行?我还需要
dag
来处理队列
中
的
消息。据我所知,这
可以
通过使用SQSSensor来完成,但我找不到
任何
示例,我对如何前进感到困惑。
浏览 24
提问于2021-08-02
得票数 0
3
回答
如何防止气流回填达格运行?
python
、
scheduled-tasks
、
airflow
假设您有一个气流
DAG
没有意义
的
回填,这意味着,在运行一次之后,运行它
的
后续
时间
将是完全没有意义
的
。例如,如果您从某个仅每小时更新一次
的
源中加载数据到数据库,那么快速连续进行
的
回填
将
只是一次又一次地导入相同
的
数据。当您实例化一个新
的
每小时
任务
,并且
在
它开始按照指定
的
时间
间隔
运行之前,它会为它错过
的
每一个小时运行
浏览 1
提问于2016-08-03
得票数 77
回答已采纳
5
回答
如何指示气流从最新到最旧进行回填
airflow
、
airflow-scheduler
我有一个计划每天运行
的
气流
DAG
。当我开始上个月
的
回填时,
Airflow
将
开始处理从最旧到最新
的
运行。由于单次运行需要几个小时,这意味着当新
的
运行可用时(
在
回填过程
中
已经过去了一天),新
的
运行将仅在整个回填完成后处理(导致公司无法获得最新数据)。
是否
可以
指示气流从最新到最旧
的
流程运行?
浏览 3
提问于2018-07-18
得票数 7
4
回答
如何在Apache
Airflow
Dag
中
添加手动
任务
airflow
我正在使用Apache
Airflow
来管理数据处理管道。
在
流水线
的
中间,需要在下一步处理之前检查一些数据。,其中task1和task2是数据处理
任务
。task1完成
后
,task1生成
的
数据需要人工审核。在审查者批准数据之后,就
可以
启动task2了。人工审查
任务
可能需要很长
时间
(例如几周)。我
在
考虑使用外部数据库来存储人工评审结果。并使用Sensor按
时间
间隔
戳取审查结果。但在审查
浏览 98
提问于2018-02-02
得票数 4
回答已采纳
1
回答
如何设置多操作符
dag
,以便在运行实例
的
所有
任务
完成之前不会实例化另一个实例?
airflow
、
apache-airflow
、
airflow-scheduler
在
我们
的
气流实现
中
,我们有多个操作者。假设
dag
有操作符t1、t2、t3,它们被设置为按顺序运行(即。t2依赖于t1,t3依赖于t2。task_2.set_upstream(task_1)我们需要确保当
dag
被实例化时,它
的
所有
任务
都在同一个
dag
的
另一个实例被实例化之前(或者
在
触发下一个
dag
实例
的
第一个
任务</
浏览 0
提问于2017-10-02
得票数 2
6
回答
更新添加
任务
后
找不到
Airflow
DAG
任务
airflow
我
在
更新
dag
文件时遇到问题。
Dag
仍然保留着我
的
dag
文件
的
旧版本。我添加了一个
任务
,但当我检查日志和UI (
DAG
->Code)时,它似乎没有更新。 我有非常简单
的
任务
。我当然检查了
airflow
.cfg
中
的
dag
目录路径,并重新启动了
airflow
webserver/scheduler。我运行它没有问题(
浏览 23
提问于2017-07-13
得票数 5
2
回答
Airflow
任务
停留在“up_for_retry”状态
airflow
我已经
在
我们
的
系统上设置了一个气流集群,以前它一直
在
工作。我不确定我做了什么来改变这一点。我使用
的
是LocalExecutor,
任务
是SSHOperator。下面是简化
的
代码。它所做
的
就是
将
ss
浏览 1
提问于2018-12-12
得票数 6
回答已采纳
1
回答
如果另一个
DAG
上
的
所有
任务
都
成功
,则只运行
DAG
。
airflow
我对DAGs、气流和Python语法有点陌生(我从Java中学到编码),但我有一个
DAG
,它有大约10个相互独立
的
任务
,而另一个
DAG
只有在所有10个
任务
都
成功
的
情况下才能运行。因为按照我
的
方式
,如果一个
任务
失败,
DAG
仍然运行其他
任务
,
DAG
被标
记为
成功
。(这就是我想要
的
)
是否
有一种方法<
浏览 0
提问于2020-08-20
得票数 2
1
回答
气流
DAG
正在运行,但
任务
没有执行。
python
、
task
、
command-line-interface
、
airflow
、
directed-acyclic-graphs
但是,当我使用命令行触发
DAG
时,
DAG
状态
将
开始运行,但
任务
将
永远不会执行。对于下面图像
的
引用,
DAG
的
ID是xcom_4_modules_ver_5
在
通过调度
的
进程运行
DAG
并通过UI手动触发之后,我
在
CLI上执行
airflow
list_
dag
_runs xcom_4_modules_ver_5
以
检查
DAG</e
浏览 1
提问于2019-04-15
得票数 8
5
回答
从不工作
的
终端触发气流
DAG
python
、
airflow
我正在尝试使用
airflow
来定义我想要从命令行手动触发
的
特定
工作流。 "
DAG
_NAME", schedule_interval=None,default_args=args)
airflo
浏览 2
提问于2016-05-05
得票数 24
2
回答
如何运行一个简单
的
气流
DAG
python
、
airflow
我想在指定
的
日期运行一个简单
的
DAG
。我正在努力改变开始日期、执行日期和回填之间
的
差异。运行
DAG
的
命令是什么?以下是我尝试过
的
:当我第一次运行该命令时,
任务
正确地执行,但是当我再次尝试时,它没有工作。下面是我运行
的
另一个命令:
airflow
backfill
dag
_1 -s 2017-1
浏览 7
提问于2017-01-23
得票数 20
回答已采纳
2
回答
我如何检查我
的
所有
任务
在
一个气流达格
是否
成功
?
python-3.x
、
airflow
我需要检查我
的
进程
中
的
所有
任务
是否
被标
记为
成功
,以便在进程
的
最后一个
任务
中
,它发送一封电子邮件给我,通知
是否
所有
任务
都
成功
或失败。下面是我尝试过
的
一段代码:for
dag
_run in
dag</em
浏览 13
提问于2022-01-13
得票数 3
回答已采纳
4
回答
气流: ExternalTaskSensor不会触发
任务
python
、
airflow
、
directed-acyclic-graphs
、
airflow-scheduler
我已经
在
SO上看到了this和this
的
问题,并做了相应
的
更改。但是,我
的
从属
DAG
仍然停留在poking状态。下面是我
的
主
DAG
: from
airflow
import
DAG
from datetime) call_procedure 下面是我
的
从属
DAG
: f
浏览 139
提问于2019-01-10
得票数 8
2
回答
在
Airflow
1.9.0
中
,min_file_process_interval和
dag
_dir_list_interval有什么区别?
airflow
我们使用
的
是
Airflow
v1.9.0。我们有100+ dags,并且实例非常慢。调度程序仅启动一些
任务
。为了减少CPU
的
使用量,我们需要调整一些配置参数,即:min_file_process_interval和
dag
_dir_list_interval。对两者之间
的
区别并不是很清楚
浏览 0
提问于2018-07-27
得票数 14
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大规模运行Apache Airflow的经验和教训
数据作业自动化调度 AirFlow
任务流管理工具-Airflow配置和使用
调度工具Airflow
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券