腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Airflow
API
-
可通过
API
获得
DAG
运行
的
输出
python
、
python-3.x
、
airflow
、
python-jsons
我正在通过下面的
API
触发
DAG
来执行python脚本来
运行
命令。curl -X POST -H "Cache-Control: no-cache" -H "Content-Type: application/json" http://localhost:8080/
api
/experimental/dags/
DAG
-3/
dag
_runs -d '{"
浏览 65
提问于2020-07-18
得票数 0
1
回答
如何触发从兰达通过
的
气流动态测试
airflow
、
airflow-2.x
我有一个动态
的
dag
,我使用它创建多个
dag
(不同
的
工作流),它基于从lambda传递
的
值及其配置。如何触发动态
dag
脚本并从lambda触发
dag
?
浏览 6
提问于2022-06-29
得票数 -1
1
回答
如何用AWS Lambda禁用气流
DAG
python
、
aws-lambda
、
airflow
我需要用AWS、Lambda或其他方法禁用气流
DAG
。为了做到这一点,我可以使用python代码吗?提前谢谢你。
浏览 3
提问于2022-03-08
得票数 0
回答已采纳
1
回答
消息到达AWS SQS队列后触发
Airflow
DAG
amazon-web-services
、
airflow
、
amazon-sqs
是否可以在消息到达SQS队列时安排
DAG
运行
?我还需要
dag
来处理队列中
的
消息。据我所知,这可以通过使用SQSSensor来完成,但我找不到任何示例,我对如何前进感到困惑。
浏览 24
提问于2021-08-02
得票数 0
2
回答
如何在
Airflow
中创建
DAG
,显示Docker容器
的
使用情况?
docker
、
containers
、
airflow
我目前使用
的
是
Airflow
(版本: 1.10.10), 我对创建
DAG
很感兴趣,它将每小时
运行
一次, 这将带来Docker容器
的
使用信息(磁盘使用), (
可通过
docker CLI命令( df -h)
获得
的
信息)。我
的
理解是:“如果xcom_push为真,那么当bash命令完成时,写入标准
输出
的
最后一行也将被推送到XCom。” 但我
的
目标是从bash命令中
获得
浏览 40
提问于2021-10-31
得票数 0
回答已采纳
1
回答
我正在尝试使用Cloud Function(Python 3.7)调用
DAG
( Python中
的
wrtitten ),但收到错误"405 Method Not Found“,有人能帮忙吗?
google-cloud-functions
、
google-cloud-composer
我使用了Google Cloud Docs平台上
的
以下代码:from google.oauth2(data, context=None): webserver_id
浏览 0
提问于2021-06-23
得票数 0
1
回答
如何以表格形式导出特定所有者
的
最新气流
dag
和任务状态
airflow
、
airflow-api
Airflow
提供rest
API
功能来提取
dag
/任务状态。https://
airflow
.apache.org/docs/apache-
airflow
/stable/stable-rest-
api
-ref.html#section/Trying-the-
API
但是想知道是否有一种方法可以仅
获得
所有
dag
w.r.t
dag
所有者<em
浏览 27
提问于2021-08-26
得票数 0
2
回答
气流:是否有可能将DagRun标记为失败/杀死它?
python
、
airflow
我想以编程方式杀死一个
dag
运行
。我如何通过Python或其他方式来实现呢?
浏览 13
提问于2022-07-15
得票数 0
1
回答
在python中执行定义为
DAG
的
任务
的
简单方法?
python
、
flask
、
airflow
、
google-cloud-run
、
directed-acyclic-graphs
我正在以一种复杂
的
方式
运行
一系列相互依赖
的
任务。我想将这些依赖关系描述为
DAG
(有向无环图),并在需要时执行该图。我一直在关注
airflow
,并写了一个虚拟脚本: from datetime import datetime from
airflow
.operators.python:
airflow
dags backfill my_id --start-date 2020-01-0
浏览 64
提问于2021-10-16
得票数 0
1
回答
Airflow
:从另一个节点中
的
另一个
dag
触发
dag
?
python-2.7
、
airflow
我们有2个不同
的
节点
运行
不同
的
气流dags。 我们在一个节点中有一个controller_
dag
(应该触发目标
dag
的
那个),在另一个节点中有一个target_
dag
。我们已经能够从同一节点中
的
controller_dags触发target_dags。 是否可以从一个节点中
的
另一个target_
dag
触发另一个节点中
的
controller_
dag
?
浏览 40
提问于2019-06-12
得票数 1
4
回答
如何手动触发气流
dag
?
airflow
、
airflow-scheduler
基本上,我已经为任务准备好了脚本和
dag
,但该任务不会定期
运行
。相反,它需要在随机时间激活。(外部方会告诉我们是时候了,我们将
运行
它。在接下来
的
几个月里,这种情况可能会发生很多次。)有没有手动触发
dag
的
方法?也欢迎任何其他方向/建议。谢谢。
浏览 3
提问于2019-12-13
得票数 6
1
回答
如何使用
airflow
rest
api
停止
运行
dag
airflow
我有一个正在
运行
的
dag
,我可以使用REST
API
停止它吗?有一种方法可以删除正在
运行
的
dag
:https://
airflow
.apache.org/docs/apache-
airflow
/stable/stable-rest-
api
-ref.html#operation/delete_
dag
_run。但是没有REST
浏览 145
提问于2021-10-09
得票数 1
回答已采纳
1
回答
用于使用REST
API
调用删除
Airflow
UI中
的
airflow
Dag
的
CSRF令牌
etl
、
airflow
、
csrf-token
、
rest
其目的是通过rest
api
调用从UI中删除
airflow
dag
。我尝试了调用.../delete?
dag
_id=<
dag
_id>,这个rest调用失败了,报告缺少CSRF令牌。如何从
airflow
服务器获取CSRF令牌?或者有没有更好
的
方法从
airflow
UI中自动删除
dag
?(不是从
airflow
UI手动按下删除按钮)
浏览 3
提问于2020-06-11
得票数 0
2
回答
Apache
airflow
DAG
任务状态- web
api
airflow
、
directed-acyclic-graphs
有没有办法通过
Airflow
api
获取最新
DAG
运行
的当前状态?我尝试过这个实验性
的
api
:但这只提供了有关任务
的
信息,而不是每次
运行
的
状态。基本上,我需要能够
获得
任务最近
运行
<e
浏览 32
提问于2018-12-17
得票数 0
1
回答
并发调度大量
DAG
时出现重复条目错误
python
、
datetime
、
airflow
我正在
运行
这个测试: from unittest import TestCase import random from
airflow
.
api
.client.local_clie
浏览 7
提问于2020-08-30
得票数 1
1
回答
如果之前
的
任务执行时间较长,则会跳过气流计划
airflow
、
airflow-scheduler
我在我
的
气流
DAG
中有两个任务。一个触发
API
调用( Http操作符),另一个使用另一个
api
( Http传感器)不断检查其状态。此
DAG
计划每小时& 10分钟
运行
一次。在这种情况下,前一个任务正在
运行
时
的
所有调度都不会执行。例如,如果我在01:10完成这项工作,需要10个小时.本应
运行
的
调度02:10、03:10、04:10、... 11:10等被跳过,只执行12:10
的
调度。 我正在使
浏览 11
提问于2019-08-09
得票数 1
回答已采纳
1
回答
通过HTTP
的
Apache
Airflow
rest
、
airflow
、
directed-acyclic-graphs
我遇到了一个问题,我可以从
airflow
的
rest
api
命令(https://
airflow
.apache.org/
api
.html)成功触发
dag
;但是,
dag
实例不能
运行
。我正在调用-> POST /
api
/experimental/dags/
dag
_id/
dag
_runs,其中
dag
_id
浏览 17
提问于2019-10-03
得票数 0
回答已采纳
2
回答
如何
获得
在气流中
运行
的当前进程
的
所有任务及其状态
的
列表
python
、
airflow
、
directed-acyclic-graphs
需要帮助来提取所有任务
的
列表,以及当前状态成功/失败的当前进程
运行
。我有一个带有python操作符
的
任务,它在工作流
的
末尾执行。此任务
的
职责是返回与状态一起执行
的
任务
的
no。
浏览 10
提问于2022-06-22
得票数 0
回答已采纳
1
回答
基于气流中
dag
的
状态在python中创建数据
python
、
airflow
我有20个气流,我想要创建一个数据
的
状态,这些达格(这意味着成功,失败或
运行
)。dataframe包含2列、
dag
的
名称、
dag
的
第二状态。如有任何建议,将不胜感激。
浏览 2
提问于2022-06-27
得票数 0
回答已采纳
2
回答
如何
获得
气流中所有DagRun实例
的
最大/最小持续时间?
python-3.x
、
airflow
、
directed-acyclic-graphs
、
airflow-2.x
是否有一种方法可以在气流中找到 all DagRun实例
的
最大/最小甚至平均持续时间?也就是说,所有
dag
中
的
所有
dag
,而不仅仅是一个
dag
。在UI上,甚至在带有编程/命令行示例
的
页面上,我都找不到可以这样做
的
地方。
浏览 3
提问于2022-06-29
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
任务流管理工具-Airflow配置和使用
没看过这篇文章,别说你会用Airflow
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
基于DAG的分布式任务调度平台-Maat
大规模运行Apache Airflow的经验和教训
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券