腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
动态
dags
中
的
on_failure_callback
、
、
我正在从一个列表
中
动态
地创建
on_failure_callback
,并且想要向其中一个任务添加
dags
。我尝试了下面的代码,但是回调似乎没有被执行。python_callable=python_callable,
on_failure_callback
但是,airflow传递
的
不是dag_id,而是上下文字典。除了上下文dict之外,你还知道如何向失败回调传递额
浏览 52
提问于2019-02-18
得票数 0
回答已采纳
1
回答
Airflow -如何覆盖默认故障通知方法
有没有人可以告诉我是否有覆盖默认失败通知方法
的
方法。我计划向SNS发送失败通知,但这意味着我将不得不更改所有现有的DAG并添加
on_failure_callback
方法。或者为所有
dags
配置全局钩子,这样我就不需要向所有
dags
添加
on_failure_callback
。
浏览 24
提问于2020-12-08
得票数 0
2
回答
将其他参数传递给
on_failure_callback
我想将其他参数传递给我
的
on_failure_callback
函数,但它似乎只想要“上下文”。既然我想在一个单独模块
中
定义该函数,以便可以在我
的
所有function...especially中使用,我应该如何将其他参数传递给该
DAGS
。email_on_failure': False, 'retries': 1, 'retry_delay': timedelta(minute
浏览 8
提问于2018-08-15
得票数 7
3
回答
Airflow -处理DAG回调
的
正确方法
、
、
我
的
DAG args如下: [...]'
on_failure_callback
': slack.slack_message(sad_message), catchup=False但是当我检查Slack时,每分钟有超过100条消息,就像是在评估每个调度程序
的<
浏览 1
提问于2018-07-03
得票数 1
2
回答
如何在不同
的
DAG中使用通用脚本?
、
我试图在许多DAG中导入一个脚本,以便多次调用相同
的
操作。应用这种解决方案
的
最佳方法是什么?现在,我有一个文件夹结构,如:|-- some_
dags
_folder/|-- other_
dags
_folder/在将所有东西放置在气流
中
后,我得到以下错误: Broken DAG: [/usr/local
浏览 5
提问于2019-10-15
得票数 3
回答已采纳
1
回答
用于on_failure通知
的
airflow-python异常包装器
、
、
我正在运行一个气流守护程序,它激活了python脚本,并使用on回调来发送一个描述松弛
的
消息。try: raise AirflowException(e) [2022-08-02, 14:53:15 IDT] {subprocess.py:74} INFO - Ru
浏览 4
提问于2022-08-02
得票数 0
1
回答
Airflow任务重试未完成
、
、
我有一个生产环境,其中一个Airflow webserver/scheduler在AWS上
的
一个docker实例
中
运行。我正在使用AWS Blue/Green deployment来实现始终有效
的
服务。当我通过AWS Codepipeline进行新
的
部署时,AWS B/G会在EC2
中
引发一个新
的
docker实例,然后删除旧实例。完成此操作后,正在运行
的
任务将失败。我
的
dags
参数是: default_ar
浏览 1
提问于2020-11-03
得票数 0
1
回答
自动从dagbag
中
不存在
的
气流UI
中
删除dag
、
、
、
场景当API响应发生变化时,假设现在有90行,那么就会从dagbag
中
删除10个dag,因为dyamic文件没有创建这些dag,但是这些dag仍然存在于气流UI
中
。此外,有时我看到这些dag
的
某些任务处于计划状态(因为dag
的
代码在dagbag
中
不存在,所以它们不能
浏览 25
提问于2022-08-31
得票数 0
6
回答
达格似乎失踪了
我有一个dag,它检查要生成
的
新工作流(
动态
DAG),如果找到,就创建它们。(参考文献: ) Edit1:我试着清除所有数据并运行“气流运行
浏览 7
提问于2019-08-13
得票数 10
1
回答
获取airflow.models.dag get_last_dagrun()
的
会话参数
、
、
我正在尝试将一个参数传递给我
的
自定义操作符,该参数是进程本身
的
最后一个运行时。 在文档之后,我理解我应该使用dag.get_last_dagrun() 。但是,我无法正确地传递会话参数。当使用没有参数
的
函数时,它返回None。我认为这是因为我自己触发了Dag,因此我想将include_externally_triggered设置为true。但我仍然需要管理之前
的
会话参数。我假设任务
中
包含self,并且它将在不添加任何参数
的
情况下正确地获取。但是,在后台之外
的
那一个呢?我
浏览 16
提问于2022-03-17
得票数 0
回答已采纳
2
回答
Airflow默认
on_failure_callback
、
、
、
在我DAG文件
中
,我定义了一个
on_failure_callback
()函数,用于在失败
的
情况下发布一个Slack。如果我在DAG
中
为每个运算符指定了
on_failure_callback
=
on_failure_callback
(),它就能很好地工作。有没有办法自动(例如,通过default_args,或者通过我
的
DAG对象)分派给我所有的操作员?
浏览 2
提问于2017-07-26
得票数 24
回答已采纳
1
回答
动态
创建
的
dags
将自动从气流UI
中
删除。
我对Apache气流很陌生,所以我不确定气流
的
所有特性。Id :d001 ,一旦主dag (它是为创建
动态
dags
而构建
的
)运行并获取这个条目,就会创建一个dag,并将dag_id更新回数据库I
浏览 2
提问于2020-06-29
得票数 1
1
回答
DAGs
中
的
动态
算子
、
我想知道我做了什么来实现
动态
操作在气流DAG内
的
目标是一个好
的
或坏
的
做法。 我必须达到
的
目标是根据API调用
的
结果在DAG
中
创建一个'x‘操作符数量。例如,这个DAG每周运行一次。我所做
的
程序起作用了,但我不知道这是否是开发气流DAG
的
一个好
的
实践。因此,我
的
问题是:这是否一个良好
的
做法,如果不是,如何更好地解决这一问题?
浏览 0
提问于2019-05-24
得票数 2
1
回答
dag.cli()到底是做什么
的
?
只简单地提到以下几点 也不是很能提供信息。如果有人能解释它所做
的
事情(最好是通过一个例子
的
帮助),那就太好了。谢谢。
浏览 1
提问于2022-06-14
得票数 0
1
回答
我们能不能将气流schedule_interval参数化从变量
中
动态
读取而不是作为cron表达式传递?
、
我们可以参数化从气流变量
中
动态
读取
的
气流schedule_interval,而不是直接作为cron表达式传递。依赖于过去’:False,'start_date':datetime(2020,1,15),'email_on_failure':True,'email_on_retry':False,‘retry’:0,'
on_failure_callback
浏览 3
提问于2020-08-05
得票数 4
回答已采纳
1
回答
气流-对整个dag故障
的
通知
、
我正在尝试实现一种在我
的
进程失败时得到通知
的
方法。 我尝试使用email_on_failure和web钩子方法( )。但是对于他们两人,我都收到了
的
通知--每个失败
的
任务。我真的很感激你能提供
的
任何帮助。
浏览 2
提问于2022-07-08
得票数 0
1
回答
多次调用气流达格故障回叫
、
在多次调用
on_failure_callback
功能时,我遇到了问题。目前,我
的
主要PythonOperator Dag被分成1 PythonOperator.和4 SubDag,每个SubDag由多个组成} 但是,当我运行Dag
浏览 9
提问于2020-09-01
得票数 0
回答已采纳
2
回答
气流,在失败
的
情况下,会使所有的达格都做一些特定
的
事情。
、
、
、
我们有很多DAG运行在气流
中
。当某件事失败时,我们希望得到通知,或者做一个具体
的
动作:我已经尝试过通过装饰师。def
on_failure_callback
(f): def wrap(*args, **kwargs): return f(*args, *except Exception as e: return wrap 这是工作,但它是必要
的</em
浏览 0
提问于2019-05-10
得票数 1
回答已采纳
1
回答
如何从
on_failure_callback
中提取XCOM值
当
on_failure_callback
任务失败时,是否有可能提取以前在执行期间在其他任务
中
设置
的
XCOM值?更具体地说,举个例子:task1成功运行,并在Xcomtask2 failson_failure_callback
中
设置key="test" value=123称为 这可以检索
on_failure_callback
中键test
的
值吗?"
on_failure_callback
&qu
浏览 2
提问于2020-10-25
得票数 0
回答已采纳
1
回答
生成气流
的
函数,而不是直接创建它们。
、
、
我有一个函数,它将从带有dag信任
的
数据库中生成
dags
(我知道,这样做很昂贵)。问题是,只有当我在我定义
的
文件
中
调用这个函数时,它才会生成
dags
,如果我导入另一个文件并执行它,它就不会生成我
的
dags
。例:
dags
= get_dag_configs() # this '
dags
' variable, con
浏览 2
提问于2022-11-18
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
mybatis中的动态SQL
Python中动态创建类的方法
Litho在动态化方案MTFlexbox中的实践
在VBA中如何使用动态数组,以及利用动态数组去除重复值的方法
机械臂在动态环境中的建模与规划
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券