腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3388)
视频
沙龙
1
回答
Airflow
-
根据
情况
停止
DAG
(
跳过
分支
后
的
剩余
任务
)
python
、
bigdata
、
airflow
如果满足第一个
任务
的
条件,我想运行一个
DAG
。如果条件不满足,我想在第一个
任务
后
停止
dag
。if (number >= 5): return 'continue_task' #STOP
DAG
=True, op_kwargs={},
浏览 160
提问于2021-05-05
得票数 1
回答已采纳
1
回答
BranchPythonOperator未使用过去
跳过
的
状态
任务
运行
python
、
airflow
这是我
的
气流传感器
的
样子。有一个
分支
任务
,它检查一个条件,然后:运行
任务
A,然后运行
任务
B 当
跳过
任务
A时,在
dag
的
下一次(将来)运行中,
分支
任务
永远不会运行(执行在主
任务
处
停止
),尽管默认触发规则是'none_failed‘并且仅
跳过</e
浏览 0
提问于2021-07-16
得票数 1
1
回答
Apache气流从一个
分支
移动到另一个
分支
airflow
我在Apache气流中将一个
分支
移动到另一个
分支
时遇到了一些问题,我有一个依赖于三个
分支
操作符
的
DAG
我确认了annotation_branch_task(check-annotation-branch) (检查解析
分支
) python函数返回r
浏览 3
提问于2021-09-10
得票数 4
回答已采纳
5
回答
Airflow
:当一些上游被短路
跳过
时运行
任务
airflow
我有一个
任务
,我将其称为final,它有多个上游连接。当其中一个上游被ShortCircuitOperator
跳过
时,这个
任务
也会被
跳过
。我不希望
跳过
final
任务
,因为它必须报告
DAG
成功。如果我使用BranchPythonOperator而不是ShortCircuitOperator,final
任务
不会被
跳过
。
分支
工作流似乎是一种解决方案,尽管不是最优
的
,但现在final将不会考虑上游
任
浏览 0
提问于2018-08-07
得票数 12
1
回答
在成功时运行
任务
,但不运行
跳过
的
任务
python
、
airflow
我在
AirFlow
中有几个
任务
,只有当前面的
任务
成功而不是
跳过
时,才会触发这些
任务
。
根据
AirFlow
文档,如果我
跳过
一个
任务
,而下一个
任务
被设置为'all_success‘,它无论如何都会被触发。有什么办法可以避免这种
情况
吗?task_id', provide_context=True, trigger_
浏览 0
提问于2019-08-07
得票数 3
回答已采纳
1
回答
如何利用
分支
算子实现气流
DAG
中
的
多路径
分支
?
python
、
airflow
这是我想要
的
,但我不知道如何在气流中实现这一点,因为这两项
任务
都在执行中。 (t1 >> t2 >> option_1 >> complete) (t1 >> t2 >> option_2 >> do_
浏览 2
提问于2021-05-06
得票数 3
回答已采纳
1
回答
任务
ID无效
的
任务
组中
的
气流
分支
操作符
python-3.x
、
airflow
、
airflow-2.x
def skip_update_job_pod_name(
dag
): :param
dag
:
Airflow
DAG
"""
浏览 1
提问于2022-07-08
得票数 1
回答已采纳
1
回答
如何在
Airflow
中使用pythonOpearator和BranchPythonOperator提交spark作业
python
、
airflow
我想用BranchPjthonOpeator写一个
DAG
文件,
根据
条件执行
任务
。Task1:应该只在星期天执行Task2:应该每天执行
任务
将包含提交spark作业
的
命令 我正在寻找示例
DAG
文件
浏览 55
提问于2021-08-20
得票数 0
1
回答
在气流中实现
分支
airflow
我正在尝试向我
的
气流dags添加警报。dags有多个
任务
,有些
任务
多达15个。我想执行一个bash脚本(所有dags
的
通用脚本),以防任何
任务
在任何时候失败。例如,
dag
的
tasks T1 to T5,as T1 >> T2 >> T3 >> T4 >> T5。我想触发
任务
A(代表警报),以防其中任何一个失败。将真的很有帮助,因为任何人都可以帮助我
的
任务
层次。
浏览 2
提问于2020-11-17
得票数 0
2
回答
BranchPythonOperator
后
的
Airflow
任务
未失败且正确成功
python
、
airflow
在我
的
DAG
中,我有一些
任务
应该只在周六运行。因此,我使用BranchPythonOperator在星期六
的
任务
和DummyTask之间进行
分支
。在此之后,我加入了这两个
分支
,并希望运行其他
任务
。我遇到
的
问题是当BranchPythonOperator
的
上游出现故障时: BranchPythonOperator和
分支
正确地具有'upstream_failed'状态,但是加入<e
浏览 160
提问于2018-08-03
得票数 4
回答已采纳
2
回答
如何在气流中重启
DAG
?
airflow
、
airflow-scheduler
我
的
其中一个
DAG
有许多步骤,但由于数据库关闭而中途
停止
。我想让
DAG
从它
停止
的
地方开始,但我所能做
的
就是一个接一个地开始
DAG
的
各个
任务
。有没有一种方法可以
根据
已经完成
的
任务
的
成功
情况
告诉
Airflow
从它
停止
的
地方开始
DAG
?以下是一个示例,其中第一个<
浏览 1
提问于2018-02-15
得票数 7
回答已采纳
1
回答
无法计划在运行时添加到
DAG
的
任务
airflow
、
apache-airflow
、
airflow-scheduler
我
的
想法是有一个
任务
foo,它生成输入(用户、报告、日志文件等)
的
列表,并为输入列表中
的
每个元素启动一个
任务
。目标是利用
Airflow
的
重试和其他逻辑,而不是重新实现它。因此,理想
情况
下,我
的
DAG
应该如下所示: 这里唯一
的
变量是生成
的
任务
数。在所有这些
任务
完成之后,我想做更多
的
任务
,所以为每个
任
浏览 5
提问于2017-06-19
得票数 2
回答已采纳
1
回答
分支
任务
中
的
气流问题
python
、
airflow
我正在尝试设置一个
DAG
,其中一个
任务
每分钟运行一次,然后另一个
任务
在第5分钟(就在1分钟
任务
之前)运行。这实际上只是测试,我不打算在这么短
的
时间内运行作业。在视觉上,我
的
DAG
看起来是这样
的
:代码本身是这样
的
:from
airflow
.operators.bash_operator importBashOperator
浏览 0
提问于2018-10-18
得票数 1
回答已采纳
2
回答
有没有办法为同一
DAG
中
的
任务
配置不同
的
“重试”
airflow
我有一个包含许多子
任务
的
DAG
。在
DAG
的
中间,有一个验证
任务
,基于
任务
的
结果/返回代码,我想采用两种不同
的
路径。如果成功,将遵循一条路径(一系列
任务
),如果失败,我们希望执行一组不同
的
任务
。当前方法存在两个问题,一个是,如果退出代码为1,则验证
任务
执行多次(
根据
配置
的
重试次数)。第二,无法采用不同
的
浏览 0
提问于2019-05-02
得票数 3
1
回答
将
airflow
任务
标记为自定义状态
airflow
我试图创建一个只有一个
任务
的
dag
。是否可以将
任务
标记为已
跳过
或无状态等必填状态? 要求:通常我会每隔一分钟查看一次s3存储桶,如果文件可用,我会做一些处理。不然的话,我就走了。我尝试将
任务
状态标记为已
跳过
,以便。 这是正确
的
做法吗?我们有没有其他方法可以做到这一点呢? 谢谢
浏览 23
提问于2019-06-24
得票数 1
回答已采纳
2
回答
逆流
跳过
时气流"none_failed“
跳过
python
、
airflow
我有一个工作流,其中有两个并行进程(sentinel_run和sentinel_skip),它们应该
根据
条件运行或
跳过
,然后连接在一起(resolve)。我需要任何一个sentinel_
任务
的
下游
任务
都有级联
跳过
,但是当它到达resolve
任务
时,resolve应该运行,除非这两个进程在上游出现故障。然而,当我实现一个微不足道
的
例子时,我看到
的
不是这样
的
: from
airflow
.models i
浏览 9
提问于2019-10-09
得票数 3
回答已采纳
1
回答
基于ONE_SUCCESS触发规则
的
Aiflow
跳过
任务
airflow-scheduler
、
airflow
我使用
的
是one_success触发器规则,这样如果父
任务
的
任何人通过而不是子
任务
,则按预期
的
方式运行。然而,当两人都失败
的
时候,我就有了问题。在这种
情况
下,子
任务
被
跳过
而不是失败。下面是
dag
实现from
airflow
import
DAG
from
air
浏览 1
提问于2020-10-30
得票数 1
1
回答
dag
_run变量在气流
Dag
中
的
应用
airflow
我试图使用气流变量来决定是否执行
任务
。params.year }}' == '{{ params.message }}': task_id = 'dummy_
dag
还有更好
的
方法在气流中做这样
的
事情吗?
浏览 0
提问于2021-07-21
得票数 0
回答已采纳
3
回答
只运行最新
的
气流
DAG
airflow
、
airflow-scheduler
假设我想使用气流运行一个非常简单
的
ETL :它检查DB2中
的
最后一个插入时间,如果有的话,它会将更新
的
行从DB1加载到DB2。有一些可以理解
的
要求: 还有其他
的
DAG
,应该独立执行
DAG
。我发现这些参数和操作符有点混乱,它们
浏览 0
提问于2018-02-16
得票数 4
回答已采纳
5
回答
如何指示气流从最新到最旧进行回填
airflow
、
airflow-scheduler
我有一个计划每天运行
的
气流
DAG
。当我开始上个月
的
回填时,
Airflow
将开始处理从最旧到最新
的
运行。由于单次运行需要几个小时,这意味着当新
的
运行可用时(在回填过程中已经过去了一天),新
的
运行将仅在整个回填完成后处理(导致公司无法获得最新数据)。是否可以指示气流从最新到最旧
的
流程运行?
浏览 3
提问于2018-07-18
得票数 7
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
任务流管理工具-Airflow配置和使用
数据作业自动化调度 AirFlow
调度工具Airflow
大规模运行Apache Airflow的经验和教训
没看过这篇文章,别说你会用Airflow
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券