腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
同时
运行
多个
实例
的
Airflow
on
demand
DAG
airflow
、
airflow-scheduler
我正在试着看看我
的
airflow
是否适合这个场景。目前,我有一个
DAG
。这将在s3中查找触发器文件,创建电子病历集群并提交spark作业,然后删除电子病历集群。我
的
要求是将其转换为随需应变
运行
。将有许多用户从应用程序
运行
导出。对于每次导出
运行
,我都必须将其命名为
DAG
。这意味着同一
DAG
的
多个
实例
将在同一时间
运行
。 我知道我们可以进行API调用来触发
DAG
浏览 11
提问于2019-05-08
得票数 3
1
回答
在Apache气流中
运行
32
多个
并发任务
python
、
airflow
我在
运行
Apache气流1.8.1。我希望在我
的
实例
上
运行
32
多个
并发任务,但无法使任何配置工作。我使用
的
是CeleryExecutor,UI中
的
气流配置为parallelism和
dag
_concurrency显示了64,我已经多次重新启动了气流调度程序、web服务器和工作人员(我实际上正在Vagrant中本地测试这个配置,但也在一个EC2
实例
上进行了测试)。from datetime import datetime from <e
浏览 0
提问于2018-12-05
得票数 4
回答已采纳
1
回答
在气流中调度下游任务
的
时间非常长
airflow
我使用
的
是
airflow
1.10.12,但发现下游任务会被调度器调度很长时间后其上游任务完成,这是非常奇怪
的
。例如,这里是甘特图,你可以发现任务是在其上游任务完成1分钟后安排
的
,有什么方法可以让它
运行
得更快吗?
浏览 0
提问于2020-11-17
得票数 0
2
回答
dag
中
的
气流“并发”参数不一致
airflow
、
airflow-scheduler
我正在创建一个具有可配置数量
的
执行器
的
动态
dag
。parallelism = 32 任何想法,为什么这可能不会像预期
的
那样工作,或任何其他设置,我需要改变。请提个建议。
浏览 0
提问于2018-10-01
得票数 0
1
回答
使用带有LocalExecutor
的
单个调度器执行多Dags
airflow
假设我使用LocalExecutor
运行
单个调度器。所以,我有一个工人。使用此设置,我是否可以
同时
运行
多个
DAG
?
浏览 1
提问于2021-06-18
得票数 0
1
回答
Airflow
DAG
EMR EmrCreateJobFlowOperator不执行任何操作
amazon-web-services
、
airflow
、
amazon-emr
、
directed-acyclic-graphs
我正在尝试
运行
一个
Airflow
dag
,它创建一个EMR集群,添加一些步骤,检查它们,最后终止创建
的
EMR集群。但是当我
运行
Airflow
Dag
时,它一直处于
运行
状态,没有显示任何错误或日志。是否有我应该添加
的
缺少
的
参数?或者是
dag
时间表
的
问题?import
airflow
浏览 16
提问于2019-02-04
得票数 3
2
回答
任务失败后,气流停止调度数据。
python
、
scheduled-tasks
、
scheduler
、
airflow
我想要达到
的
行为是: 任务默认值:'start_date':
airflow
.utils.dates.days_ago(2), 'email例如,下面是dagrun(我不知道在哪里找到类似于中
的
基于文本
的
浏览 0
提问于2018-08-30
得票数 2
回答已采纳
1
回答
两个反向代理后面的气流-图GET请求不包含任何
DAG
ID
nginx
、
airflow
、
nginx-reverse-proxy
、
nginx-config
我
的
设置: 我在两个nginx代理后面
运行
Airflow
1.10.9。第一代理将请求转发到位于专用网络内
的
第二代理。第二个代理将请求转发到所请求
的
Airflow
实例
,其中在URL中指定了
airflow
主机。这基本上允许我们
运行
多个
airflow
实例
并正确地路由到它们。代理设置正在工作,因为
Airflow
UI是可访问
的
,我可以看到我
的<
浏览 11
提问于2020-02-10
得票数 0
回答已采纳
1
回答
如果
DAG
已经在
运行
,则跳过
运行
airflow
、
airflow-scheduler
我有一个
DAG
,我只需要
同时
运行
一个
实例
。为了解决这个问题,我使用了max_active_runs=1,它工作得很好: 'owner': 'Owner',问题是
浏览 1
提问于2019-11-03
得票数 3
1
回答
Apache气流-
多个
部署环境
airflow
、
google-cloud-composer
在处理
多个
环境(如Dev/Staging/Prod等)时,为每个环境设置单独(最好是相同
的
)气流
实例
将是最好
的
情况。我正在使用GCP管理
的
气流(),这不是很便宜
的
运行
,有
多个
实例
将大大增加我们
的
每月账单。 那么,我想知道是否有人建议使用单个气流
实例
来处理
多个
环境?我正在考虑
的
一种方法是在我
的
dags folder中有对应于每个
浏览 6
提问于2022-12-03
得票数 0
1
回答
在气流REST调用中忽略
的
dagRuns参数
airflow
、
airflow-api
curl -X GET 'http://localhost:8080/api/v1/dags/
demand
_forecast/dagRuns' -H 'Cache-Control: no-cache'H 'Content-Type: application/json' -d '{"execution_date_gte": "2023-02-02T00:00:00+00:00"}'
浏览 3
提问于2022-09-07
得票数 0
回答已采纳
1
回答
/ Composer中
多个
客户端
的
最佳实践?
airflow
、
google-cloud-composer
问题: fault-tolerance
浏览 3
提问于2019-12-28
得票数 3
回答已采纳
1
回答
无法使用EMR运算符让Apache
Airflow
写入S3
amazon-s3
、
airflow
、
amazon-emr
我正在使用
Airflow
EMR操作符创建一个AWS EMR集群,该集群
运行
包含在S3中
的
Jar文件,然后将输出写回S3。它似乎能够使用S3中
的
Jar文件
运行
作业,但我无法让它将输出写入S3。当作为AWS EMR CLI Bash命令
运行
它时,我能够让它将输出写入S3,但我需要使用
Airflow
EMR操作符来执行此操作。我在
Airflow
步骤配置和Jar文件
的
环境配置中都设置了S3输出目录,但仍然无法让操作员对其进行写入。这是我<e
浏览 13
提问于2019-09-12
得票数 0
回答已采纳
3
回答
如何控制风流安装
的
并行度或并发性?
python
、
google-cloud-platform
、
airflow
、
google-cloud-composer
在我
的
一些Apache
Airflow
安装中,计划
运行
的
DAG
或任务即使在调度程序似乎没有完全加载时也不会
运行
。如何增加可以并发
运行
的
DAG
或任务
的
数量?类似地,如果我
的
安装处于高负载下,并且我想限制我
的
Airflow
工作人员拉取排队任务
的
速度(例如减少资源消耗),我可以调整什么来降低平均负载?
浏览 2
提问于2019-05-30
得票数 45
回答已采纳
1
回答
是否有可能从气流1中触发气流2进程,反之亦然?
airflow
、
airflow-scheduler
、
airflow-2.x
我们正在新旧气流之间进行迁移,我们试图实现从
Airflow
1到
Airflow
2
的
触发器(反之亦然),这有可能吗?
浏览 3
提问于2022-02-07
得票数 0
回答已采纳
1
回答
MultiTennant
Airflow
-访问控制和机密管理
airflow
对于如何在多租户
Airflow
2.0
实例
上进行秘密管理,有什么建议吗?我们知道有一个替代
的
后端,它将在envt变量和multistore之前使用,通过
airflow
.cfg配置。但是,我们如何在多租户envt中确保安全性,例如,我们如何限制用户及其
DAG
对秘密/连接
的
访问。是否可以使用访问控制来限制这一点?我们正在设想将连接is放入
DAG
中,据我们所知,任何了解它们的人都可以访问连接并提取秘密,只要他能够创建自己
的
DAG
。
浏览 0
提问于2021-07-26
得票数 0
2
回答
跨不同水池
的
气流priority_weight
python
、
airflow
、
airflow-2.x
我用
的
是气流2.2.0。我试图优先考虑一次
运行
,而不是对同一个进程进行多次
运行
。理想情况下,我希望进程
的
所有任务完全完成,而不是并行
运行
相同
的
任务。但是,一旦我对每个任务使用不同
的
池,就不再起作用了。# import randomfrom
airflow
.operators.python_operator import PythonOperator=
d
浏览 0
提问于2021-11-03
得票数 0
回答已采纳
1
回答
通过HTTP
的
Apache
Airflow
rest
、
airflow
、
directed-acyclic-graphs
我遇到了一个问题,我可以从
airflow
的
rest api命令(https://
airflow
.apache.org/api.html)成功触发
dag
;但是,
dag
实例
不能
运行
。我正在调用-> POST /api/experimental/dags/
dag
_id/
dag
_runs,其中
dag
_id是我正在
运行
<em
浏览 17
提问于2019-10-03
得票数 0
回答已采纳
3
回答
如何在气流中使用CLI清除失败
的
DAGs
airflow
我尝试使用 (而不是使用Web执行20次):但我有个奇怪
的
错误:编辑1:
airflo
浏览 4
提问于2018-05-02
得票数 7
1
回答
运行
python脚本不会创建气流
DAG
?
python
、
airflow
、
directed-acyclic-graphs
我通过ssh进入linux服务器来
运行
Airflow
。我已经初始化了调度器(
airflow
scheduler -D)和数据库(
airflow
db init)。但是,即使尝试使用python创建最简单
的
DAG
(我也尝试使用
Airflow
的
预定义示例py脚本),
Airflow
在
运行
airflow
dags list命令时也不会列出
DAG
。我确信我
的
py代码<em
浏览 17
提问于2021-07-02
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
windows下,如何同时运行多个tomcat,且对应不同的jdk?
如何让同时运行的多个软件整合到标签页中?
大规模运行Apache Airflow的经验和教训
有没有老哥遇到 pycharm升级后,不能同时运行多个py文件的情况,会被覆盖运行?
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券