腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
是否
可以
仅
针对
具有
相同
dag_run.conf
的
运行
限制
DAG
的
max_active_runs
?
airflow
我有一个在多租户场景中
运行
的
DAG
。当
DAG
被触发时,租户ID get在
dag_run.conf
中设置。我希望确保每个租户一次最多有一次活动
运行
,但可能会有多个活动
运行
同时跨所有租户
运行
。到目前为止,我已经找到了
max_active_runs
设置,但这需要我为每个租户实际设置一个
DAG
,这是我试图避免
的
。 有没有办法在气流中实现这一点,或者我处理这个问题
的
方式是错误
的</e
浏览 18
提问于2021-04-14
得票数 1
1
回答
我们
是否
可以
限制
在Apache Airflow中随时
运行
的
DAG
数量
workflow
、
airflow
、
directed-acyclic-graphs
我们
可以
限制
在Apache Airflow中随时
运行
的
DAG
的
数量吗? 我们对环境中
的
资源是有
限制
的
。
是否
有
限制
编号
的
配置。
DAG
在某个时间点作为一个整体在气流中
运行
?在
DAG
中
运行
的
max_active_runs
参数
限制
有没有可能,如果一个
DAG
浏览 27
提问于2020-07-17
得票数 1
2
回答
是否
可以
更新/覆盖Airflow [‘
dag
_run’].conf?
python
、
airflow
我们通常使用trigger_
dag
命令启动Airflow
DAG
。例如:我们使用context[‘
dag
_run’].conf在运算符中访问此conf 有时,当
DAG
在某个任务中中断时,我们希望“更新”conf,并使用这个新
的
conf重新启动中断
的
任务(以及下游依赖项
浏览 6
提问于2019-07-17
得票数 3
2
回答
如何确保我
的
气流
DAG
一次只
运行
一天?
task
、
airflow
、
directed-acyclic-graphs
我想将我
的
DAG
设置为一次
运行
一天。我如何才能做到这一点? 我尝试了“依赖于past=True",但它只确保每个任务随后都会
运行
。我想要
的
是,如果我从第X天开始回填,那么第X天
的
所有任务都会在X+1
的
DAG
可以
启动之前
运行
,依此类推。
浏览 0
提问于2017-12-26
得票数 6
1
回答
气流界面中
的
“时间表”栏
的
颜色是什么意思?
python
、
airflow
谁能帮我理解一下气流网络用户界面中
的
“时间表”栏目。为什么它有时会把图标涂成红色?显示调度程序关闭了吗?似乎是这样
的
,但我找不到任何关于本专栏
的
明确解释。
浏览 0
提问于2018-10-15
得票数 9
回答已采纳
4
回答
如何
限制
气流一次只
运行
DAG
的
一个实例?
airflow
我希望
DAG
中
的
任务在执行下一次
运行
的
第一项任务之前全部完成。 'depends_on_past': True, '
max_active_runs
':email_on_failure': True, 'email_on_retr
浏览 0
提问于2018-03-12
得票数 37
回答已采纳
1
回答
如何有效地管理
具有
气流
的
单机资源
python
、
airflow
、
apache-airflow
、
airflow-scheduler
我正在
运行
一个气流过程,在2015年初
的
MacBook Pro上有+400个任务,带有3.1 GHz英特尔核心i7处理器和16 or或RAM。我正在
运行
的
脚本看起来很像,不同
的
是我
的
DAG
被定义为 'start_date': datetime.now(),}
是否
有必要以这种方式在RAM中定义整个任务队列,或者气
浏览 4
提问于2017-08-24
得票数 0
回答已采纳
1
回答
在SQL表上同时竞争插入和删除
的
DAG
回填
airflow
有没有办法在某些任务上
限制
DAG
回填,以便如果
运行
中
的
一个任务正在写入表,另一个试图截断该表
的
任务必须等待? 我在一个数据库中有大约50个表,我将其镜像到另一台服务器。这一过程对于所有50个表都是
相同
的
。DAGS之间
的
唯一区别是在数据暂存以便在服务器上处理之后调用
的
存储过程。为了节省大量工作,我选择创建一个
DAG
工厂并将其参数化,其中每个
DAG
同步都是一个不同
的
表,并且它对应<em
浏览 11
提问于2021-05-22
得票数 0
回答已采纳
1
回答
在BeamRunPythonPipelineOperator中使用气流
DAG
运行
conf
python
、
airflow
、
apache-beam
、
dataflow
、
data-processing
背景 我试图
运行
一个Apache梁管道作为气流
DAG
的
一部分。
DAG
运行
是使用user_id参数手动触发
的
。通常,在我
的
PythonOperator中,我
可以
访问
DAG
运行
的
conf,作为python_callable参数
的
一部分。在
运行
时,似乎无法将输入从
dag_run.conf
传递到Beam管道。理想情况下,我想做这样
的
事情
浏览 12
提问于2021-12-26
得票数 1
1
回答
如何使用传入
的
输入json配置值来触发
dag
内部
的
气流作业?
python
、
google-cloud-platform
、
airflow
我对气流很陌生,我需要在用例中读取传入
的
json信任信息,然后根据所读取
的
信任值构造一个字符串,这个字符串将用作我们正在GCP数据过程中创建
的
集群
的
名称。例:输入Json到
dag
我希望集群名是“engg”,并包含下面的代码,但是我得到了一个错误,就像它无法识别"
dag
_rundays_ago CONN_ID
浏览 6
提问于2022-06-09
得票数 2
回答已采纳
1
回答
气流达格不会通过“排队”状态
python
、
airflow
几个小时前,这段代码
运行
良好,但突然之间,我
的
伙伴们开始陷入“排队”状态。下面是我试图
运行
的
内容(我只是手动触发):from airflow.operators.python_operator import PythonOperator( python_callable=test_function,
浏览 3
提问于2022-05-24
得票数 0
2
回答
多个日期
的
DAG
回填
airflow
我有一个
DAG
,我需要回填很多日期。由于资源原因,我认为最好
的
选择是在开始日期和结束日期之间创建一个日期列表,并在for循环中
运行
任务。应该有一个函数将所有日期(格式化后)返回给变量并在for循环中
运行
DAG
任务,还是日期列表应该是作为任务
运行
的
函数
的
一部分,然后以某种方式使用Xcom发送日期列表?如何将其分配给
具有
xcom拉(但不需要任务)
的
变量?
浏览 8
提问于2022-08-24
得票数 0
1
回答
如果
DAG
已经在
运行
,则跳过
运行
airflow
、
airflow-scheduler
我有一个
DAG
,我只需要同时
运行
一个实例。为了解决这个问题,我使用了
max_active_runs
=1,它工作得很好: 'owner': 'Owner',问题是
浏览 1
提问于2019-11-03
得票数 3
4
回答
是否
可以
让气流调度器先完成前一天
的
循环,然后再开始下一天
的
循环?
python
、
python-3.x
、
airflow
、
scheduler
现在,我
的
DAG
中
的
节点在该
DAG
的
其余节点完成之前继续执行第二天
的
任务。有没有办法让它等待
DAG
的
其余部分完成后再进入第二天
的
DAG
周期?(我
的
depends_on_past是真的,但在这种情况下不起作用) O V O-> O ->
浏览 0
提问于2016-12-07
得票数 18
4
回答
气流:只允许一个任务实例。
airflow
是否
有方法指定任务只能同时
运行
一次?因此,在上面的树中,
DAG
并发是4,气流将启动任务4而不是任务2
的
第二个实例? 这个
DAG
有点特别,因为任务之间没有顺序。这些任务是独立
的
,但在目的上是相关
的
,因此保留在一个
DAG
中,以便新创建过多
的
单个任务
DAG
。
max_active_runs
是2,
dag
_concurrency是4,我希望它启动所有4个任务,并且在下一个任务完成时才
浏览 0
提问于2019-06-03
得票数 2
回答已采纳
2
回答
气流:如何在
dag_run.conf
中获取ECSOperator值
python
、
docker
、
aws-fargate
、
airflow
码头容器只是
运行
用Python编写
的
ETL。在我
的
一些python脚本中,我希望允许团队成员传递命令,并认为
dag_run.conf
将是实现这一目标的好方法。我想知道
是否
有一种方法
可以
将来自
dag_run.conf
的
值附加到ecsoperator
的
重写子句中
的
命令键中。我
的
重写条款如下所示:
浏览 8
提问于2021-08-04
得票数 3
2
回答
如何设置我
的
气流
DAG
来等待数据流作业
的
完成?
python-2.7
、
google-cloud-dataflow
、
airflow
我有一个
DAG
,它执行3个数据流管道。我已将依赖项设置为:我设置了以下默认参数: 'start_date': yesterday, 'wait_for_downstream': True然而,似乎所有三个管道都是在同一时间安排
的
。如何将管道b设置为只在管道a完成后才
运行
?同样地,管道c只在管道b完成后才
运行<
浏览 0
提问于2018-10-09
得票数 0
回答已采纳
2
回答
Apache气流没有强制执行dagrun_timeout
airflow
= timedelta(seconds=30),
max_active_runs
=1) task_id='fast_task',
仅
slow_task就需要超过dagrun_timeout设定
的
时间
限制
,所以我
的
理解是气流应该停止
DAG
的
执行。但是,没有发生这种情况,并且允许slow_task在整个期
浏览 4
提问于2020-02-21
得票数 7
回答已采纳
2
回答
如何控制气流中
的
DAG
并发性
python
、
airflow
我使用airflow v1.7.1.3在
dag
_a.py中 start_date=datetime.now(), default_args=
浏览 0
提问于2017-08-18
得票数 6
3
回答
如何控制风流安装
的
并行度或并发性?
python
、
google-cloud-platform
、
airflow
、
google-cloud-composer
在我
的
一些Apache Airflow安装中,计划
运行
的
DAG
或任务即使在调度程序似乎没有完全加载时也不会
运行
。如何增加
可以
并发
运行
的
DAG
或任务
的
数量?类似地,如果我
的
安装处于高负载下,并且我想
限制
我
的
Airflow工作人员拉取排队任务
的
速度(例如减少资源消耗),我
可以
调整什么来降低平均负载?
浏览 2
提问于2019-05-30
得票数 45
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大规模运行Apache Airflow的经验和教训
XDAG:POW+DAG
任务流管理工具-Airflow配置和使用
DAG vs 区块链
没看过这篇文章,别说你会用Airflow
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券