腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
有没有
办法
从
外部
检查
DAG
中
每个
任务
的
状态
?
我查看了Airflow提供
的
不同API端点,但我找不到一个适合我
的
需求。本质上,我希望监视
DAG
中
每个
任务
的
状态
,而不必指定我试图监视
的
每个
任务
。理想情况下,我可以ping通
DAG
,响应将告诉我
任务
的
状态
以及正在运行/重试
的
任务
...等
浏览 20
提问于2021-10-28
得票数 0
1
回答
气流:
从
外部
DAG
获取
任务
状态
我想从
外部
DAG
获取
任务
的
状态
。基于某些条件,我有相同
的
任务
在两个不同
的
DAG
中
运行。因此,我想从
DAG
2
从
DAG
1
中
检查
此
任务
的
状态
。如果
任务
状态
在
DAG
2
中
“运行”,那么我将在
DAG
浏览 1
提问于2021-11-09
得票数 1
回答已采纳
1
回答
如何
检查
外部
传感器气流
中
DAG
中
任务
的
不同运行时间
、
、
、
假设我有一个
DAG
,包括一些
任务
,这些
任务
依赖于
DAG
B
中
另一个
任务
上
的
外部
传感器。 例如,我希望在10:00上
检查
DAG
中
任务
的
状态
,如果成功运行,则
DAG
中
的
任务
可以运行。但是现在由于一个原因,
DAG
B
中
10:00上
的<
浏览 9
提问于2021-11-03
得票数 1
回答已采纳
1
回答
如何避免在Airflow
中
运行以前成功
的
任务
?
、
我有多个相互传递数据对象
的
任务
。在某些
任务
中
,如果某些条件不满足,我将引发一个异常。这会导致该
任务
的
失败。触发下一次
DAG
运行时,已成功
的
任务
将再次运行。我正在寻找一些方法来避免运行以前成功
的
任务
,并在下一次
DAG
运行
中
从
失败
的
任务
恢复
DAG
运行。
浏览 29
提问于2019-06-05
得票数 0
回答已采纳
1
回答
气流-
外部
任务
传感器在不同时间运行。
我正在尝试在下一个配置下创建一个
外部
传感器问题是,当来自
DAG
-B
的
外部
任务
传感器戳入
DAG
-A.task时,
DAG
-A.task正在使用04:00:00小时,如下所示: INFO - Poking for
DA
浏览 0
提问于2020-06-03
得票数 0
回答已采纳
2
回答
雪花中
的
任务
我创建了两个
任务
,每天运行一次。另外,是否应该在配置表
中
捕获
任务
运行
中
的
错误详细信息?什么是"TESTDB.TESTSCHEMA.TASK_EXTERNAL_REFRESH“失败?如果失败,下一个不应该运行。
浏览 23
提问于2022-09-10
得票数 0
2
回答
气流-将给定
的
task_id和run_id标记为成功或失败。
我可以
从
外部
(使用http请求)吗?将与
dag
_id和run_id关联
的
特定
dag
_id标记为成功/失败。 发出http请求以启动
外部</e
浏览 3
提问于2016-10-29
得票数 4
1
回答
Apache气流维护表为
dag
_ids上一次运行日期?
、
Apache Airflow有MYSQL表,如
dag
、
dag
_run、作业 维护
dag
元数据字段,包括
dag
运行时。但是,如果这些表
的
频率和报告查询负载增加,则让
外部
查询作业查询这些生产气流表以
检查
上次运行完成可能不是一个好
的
设计实践。另一个可能
的
选择是在airflow dags
中
添加python代码来维护另一个单独
的
数据库表,这将保存
每个
运行
的
dag</
浏览 0
提问于2018-12-10
得票数 0
回答已采纳
1
回答
气流回填和新
的
dag
运行
、
、
我有一个
DAG
,
从
2015年1月1日到今天,每天都有"
DAG
运行“。
DAG
中
的
任务
不是“过去依赖
的
”,这意味着在回填期间,它们可以按任何日期顺序执行。如果我需要在
DAG
中
回填一个
任务
,我使用UI清除所有
任务
实例(从今天到过去),然后所有
DAG
运行切换到"running“
状态
,
任务
从
2015年
浏览 1
提问于2018-07-31
得票数 8
回答已采纳
1
回答
在airflow
中
设置多
dag
依赖
我有3个
Dag
A,B和C。
dag
C应该只在
dag
A和B
中
的
任务
完成后触发。
有没有
办法
在airflow
中
实现这一点?我可以使用Triggerdagrun运算符设置
dag
A和C之间
的
依赖关系。但是,当我尝试设置
dag
B和C之间
的
依赖关系时,当A或B完成时,C会被触发。有人能帮我解决这个问题吗?我理解说明可以使用
外部
任务
传感
浏览 29
提问于2017-11-17
得票数 4
2
回答
当
外部
任务
失败时,气流ExternalTaskSensor不会失败
、
我试图使用气流1.10.11
中
的
ExternalTaskSensor来管理坐标。这将两个dags
中
的
execution_date设置为相同
的
值。当dummy_
dag
的
最后一个
任务
ends
的
状态
是success时,这是完美的。但是,如果我强迫中间
任务
像这样失败: pprint(context['conf']
浏览 16
提问于2020-10-06
得票数 5
回答已采纳
1
回答
Google cloud composer:
任务
未在计划
的
dag
运行
中
执行,但在手动
dag
运行
中
成功执行
、
、
我有一个具有多个
任务
的
。当调度器执行
DAG
时,它进入running
状态
,但
DAG
中
的
所有
任务
都没有任何
状态
。但是,如果手动执行相同
的
queued->running->success (单击Trigger
Dag
按钮),则
任务
将变为
DAG
。我试图
检查
"Cloud Composer Environment“
的
S
浏览 10
提问于2020-02-23
得票数 1
回答已采纳
2
回答
Apache airflow
DAG
任务
状态
- web api
、
有没有
办法
通过Airflow api获取最新
DAG
运行的当前
状态
?我尝试过这个实验性
的
api:但这只提供了有关
任务
的
信息,而不是每次运行
的
状态
。基本上,我需要能够获得
任务
最近运行
的
结果-成功、失败、排
浏览 32
提问于2018-12-17
得票数 0
6
回答
在不同时间间隔
的
气流
中
设置
外部
任务
传感器
的
合适方法是什么?
我刚加入一家新公司,我试着在使用它
的
时候学习气流。到目前为止,除了
外部
任务
传感器之外,我已经掌握了大多数事情
的
基本知识。我有两个
DAG
,
DAG
的
调度间隔为"0 6 * * *",
DAG
的
调度间隔为"0 7 * * *",
DAG
等待
DAG
在继续之前完成。然而,
DAG
有时需要3小时才能完成,而在其他时候则需要10+时间。我创建了一个Externa
浏览 18
提问于2022-11-24
得票数 2
回答已采纳
2
回答
从
主进程触发
外部
进程
的
最佳方法,其调度间隔=@一次?
具有
任务
列表,这些
任务
调用与主dags不同
的
dags,我正在使用TriggerDagrunoperator来完成这一
任务
。但面临
的
问题不多。TriggerDagrunoperator不会等待
外部
进程
的
完成,它会触发下一个
任务
。我想要等到完成,下一个
任务
应该根据
状态
触发。偶然发现了ExternalTaskSensor。但是
外部
任务
传感器
的
问题只适用于时间表。当我使用
浏览 1
提问于2020-05-20
得票数 2
1
回答
Apache气流连接挂钩正在实例化多个连接。
背景: Apache气流文档如下: 我尝试过使用不同
的
DB生成10个
任务
: MYSQL、POSTGRES、MONGODB。请注意,我在一个<em
浏览 4
提问于2021-07-05
得票数 0
回答已采纳
1
回答
气流调度问题
、
我在ubuntu机器上安装了1.10.10版本,它是18.4 version.From,安装和安装方面一切都很好,,但是我在任何
DAG
中
的
任务
都没有运行,它们总是处于队列
状态
,如气流WebUI所示。当我查看
任务
实例
的
详细信息时,我发现
任务
实例
的
状态
为:
任务
处于'None‘
状态
,这不是执行
的
有效
状态
。必须清除该
任务
才能运
浏览 1
提问于2020-06-22
得票数 4
1
回答
Airflow:
从
DAG
中
拉出XCom与未来
的
开始日期?
在Airflow
中
,我们使用xcoms来表示一个
DAG
已经完成,另一个可以开始运行。例如,
DAG
1在上午12点运行,并在完成时发送xcom。
DAG
2
从
DAG
1读取xcom。使用这种方法
的
一个限制是,根据文档,xcom只能从执行日期较早
的
DAG
中
读取,但不能从未来执行日期
的
DAG
中
读取。然后我有了
DAG
#5,它可以并行运行多个作业。
浏览 19
提问于2020-06-11
得票数 0
1
回答
如何在Python和Airflow
中
从
任务
中
获取
DAG
信息
、
在Python
中
,
有没有
办法
从
Airflow
中
的
一个
DAG
任务
中
获取
dag
_id? 我
的
目的是删除Task
中
的
表(与
dag
同名创建
的
表)。
浏览 3
提问于2021-07-14
得票数 0
1
回答
确定
DAG
是否正在执行
、
我使用
的
气流1.9.0与自定义SFTPOperator。我在我
的
DAG
中有代码,用来轮询SFTP站点来查找新
的
文件。如果找到任何文件,则为动态创建
的
任务
创建自定义
任务
id,并检索/删除文件。看起来,气流all服务器和气流调度器每秒钟迭代一次所有的
DAG
,并实际运行检索directory_list
的
代码。这意味着我正在访问SFTP站点~2x每秒来验证和提取文件列表。我希望有一些只有在
DAG
实际运行时才执行<e
浏览 0
提问于2018-08-03
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
airflow 实战系列:基于 python 的调度和监控工作流的平台
没看过这篇文章,别说你会用Airflow
大规模运行Apache Airflow的经验和教训
以太坊连载:什么是挖矿和Ethash算法?
任务流管理工具-Airflow配置和使用
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券