腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3870)
视频
沙龙
1
回答
Airflow
:
重试
至
特定
时间
python
、
airflow
不幸的是,我的作业花费了更多的
时间
,因此,任务在9小时后失败。 我如何让它每15分钟
重试
一次,但如果是在9小时后失败,这样人类就可以查看该问题? 谢谢你的帮忙
浏览 25
提问于2019-02-21
得票数 2
回答已采纳
2
回答
条件dag运行
重试
python
、
airflow
是否可以动态更改DAG的
重试
次数?想象一下一个简单的守护进程:from
airflow
.operators.python import PythonOperator if value: return,并禁用对这个
特定
dag_run的
重试
。我只想在满足一
浏览 4
提问于2020-02-13
得票数 0
回答已采纳
1
回答
airflow
:如何在所有
重试
失败时仅发送电子邮件警报
airflow-scheduler
、
airflow
me.com'], 'retries': 4,} 每次
特定
的作业尝试失败时但是,是否可以要求
airflow
仅在所有
重试
/尝试失败时发送警报?
浏览 31
提问于2021-01-09
得票数 0
回答已采纳
2
回答
使用
Airflow
按需并有计划地运行参数化作业
celery
、
airflow
作业采用
特定
于客户的参数,通常在几分钟内完成。目前,作业是由客户在创建新报告或请求刷新现有报告时按需触发的。 现在,我想添加计划,以便每天运行作业,并自动刷新报告。我知道
Airflow
在任务编排和调度上大放异彩。我也喜欢将我的工作表达为DAG并从任务
重试
中获益的想法。我可以看到如何使用
Airflow
来运行调度的批处理作业,但我不确定我的用例。如果我将我的作业表示为
Airflow
DAG,我仍然需要为每个客户运行它们的参数化。这意味着,如果客户创建了一个新报告,我需要有一种方法来触发具有
特定</em
浏览 0
提问于2020-10-28
得票数 0
2
回答
Cloud Composer
Airflow
任务失败,但功能成功完成
python
、
google-cloud-platform
、
airflow
、
google-cloud-composer
我正在尝试使用Cloud Composer编写我的第一个
Airflow
作业。我的DAG有三个任务,第一个任务成功完成,但第二个任务似乎失败了,并发出任何失败的错误消息。被调用的函数执行一个长
时间
运行的查询并轮询,直到查询完成。查询完成后,我收到一条消息,指出数据已输出到正确的表中,但是
Airflow
将该任务视为失败,并再次
重试
该任务。我的DAG default_args如下所示: 'owner': '
airflow
',
浏览 2
提问于2019-02-28
得票数 0
1
回答
来自不可靠网络的气流HTTP呼叫
airflow
因此,我必须
重试
API调用,直到当前page = total page为止,如果我们有504 Gateway超时,则重新尝试。但是,整个
重试
过程不得超过15分钟。
浏览 0
提问于2021-10-14
得票数 0
回答已采纳
1
回答
气流-如何运行达格等待过去的成功
airflow
、
airflow-scheduler
DAG dag_id='test_
airflow
', tags=['wealth', 'python', 'ml'],
浏览 4
提问于2020-09-23
得票数 0
4
回答
Apache
Airflow
scheduler不在计划
时间
触发DAG
python
、
cron
、
airflow
、
directed-acyclic-graphs
当我安排DAG在每天的
特定
时间
运行时,DAG根本不会执行。但是,当我重新启动
Airflow
when服务器和调度程序时,DAG在该
特定
日期的计划
时间
执行一次,并且从第二天起不再执行。我使用的是带有python 2.7.6的
Airflow
版本v1.7.1.3。下面是DAG代码:from
airflow
.operators.bash_operator import BashOperator from dat
浏览 2
提问于2016-11-21
得票数 14
1
回答
监控气流中的长期任务
scrapy
、
airflow
我见过人们使用
Airflow
通过Scrapyd守护进程调度数百个抓取作业。然而,他们在
Airflow
中遗漏了一件事,那就是监控像抓取这样的持久作业:获取到目前为止抓取的页面和项目的数量,到目前为止失败或没有成功
重试
的URL的数量。
浏览 14
提问于2019-11-15
得票数 0
1
回答
气流状态-任务立即进入'up_for_retry‘状态('start_date’是1天前)。
celery
、
airflow
、
airflow-scheduler
情况如下:from
airflow
import DAG from
airflow
.
浏览 12
提问于2021-05-17
得票数 0
2
回答
如何在
airflow
的dag中找到
特定
任务的开始日期和结束日期?
airflow
我使用kwargs‘execution’来获取dag的执行日期,但它给出了调用整个dag的
时间
,但我需要
特定
任务在
airflow
中开始和结束的
时间
。
浏览 2
提问于2020-05-02
得票数 0
1
回答
每月某天和
时间
的
Airflow
DAG计划
airflow
、
apache-airflow
、
airflow-scheduler
我们一直在将cron作业转换为
Airflow
DAG,我很难弄清楚DAG在
Airflow
中的调度方式。一些day需要在一天中的
特定
时间
(即上午7点)运行,其他day需要在一个月的
特定
日期/
时间
运行(即每月15日上午6点)。 一般来说,
Airflow
似乎每天都能正确运行DAG。
Airflow
关于日程安排的文档是,IMO,muddy和对其他问题的回答,这让我更加困惑。我希望有人能澄清我的理解和我试图每月安排的DAG出了什么问题。
浏览 2
提问于2017-05-29
得票数 4
1
回答
J1939中从请求到响应的定时范围
request
、
response
、
can-bus
、
j1939
通常,请求是通过0xEB00发送的,响应由J1939中的0xEC00 (响应大于8个字节)所捕获,从请求得到的响应范围是多少?示例:- 0.00 -0xEB00-ECFE 00 xx.xx -0xEC00-xx EC 00。查看了许多选项,但无法找到确切的范围。在某个地方,它被提到为10 - 200 =>数据集,而在某个地方,它被提到为0- 1250。
浏览 8
提问于2022-11-03
得票数 0
回答已采纳
1
回答
风流DAG正在为所有的
重试
运行
airflow-scheduler
、
airflow
没有
重试
设置为4,如下所示。default_args ={“所有者”:“气流”,“依赖于过去”:False,“email”:'
airflow
@example.com','email_on_failure':False,‘_on_retry’:False,‘retry’:4,‘retry_’:timedelta(minutes=5) } 我可以在日志中看到,它触发了蜂巢查询,并在一段
时间
后(大约5到6分钟)释放了心跳,并开始
重试
。现在,在纱线中,有两个查询正在运行(一个用于第一次运行,
浏览 0
提问于2020-04-09
得票数 0
3
回答
如何在nifi中控制调用HTTP处理器的
重试
apache-nifi
比如invoke HTTP processor,如果
重试
关系是自己连接的,如果发生了500个相关错误,如何控制
重试
次数? 我想控制
重试
的次数,例如5次,并且在
特定
的
时间
重试
很多。第一次
重试
,1分钟后
重试
,30分钟后
重试
,24小时后
重试
,就像这样。
浏览 5
提问于2017-05-08
得票数 4
2
回答
有没有办法为同一DAG中的任务配置不同的“
重试
”
airflow
当前方法存在两个问题,一个是,如果退出代码为1,则验证任务执行多次(根据配置的
重试
次数)。第二,无法采用不同的执行分支 要解决问题1,我们可以使用任务实例中的
重试
次数,该次数可通过宏{{ task_instance }}获得。
浏览 0
提问于2019-05-02
得票数 3
1
回答
增加气流中
特定
DAG的超时
时间
airflow
、
google-cloud-composer
我有一个DAG,它需要很长
时间
才能执行bigquery操作。而且我总是会得到错误‘坏的DAG: /home/
airflow
/gcs/dags/xyz.py超时’,我找到了一些答案,说明我们必须增加
airflow
.cfg中的超时。但这个想法不适合我的项目。是否有可能以某种方式增加
特定
DAG的超时?请大家帮帮忙。谢谢。
浏览 0
提问于2019-09-06
得票数 0
1
回答
exeuction_timeout失败了,但没有发送电子邮件。
email
、
airflow
、
directed-acyclic-graphs
、
executiontimeout
如果任务持续
时间
超过了我在进程的每个任务中配置execution_timeout的
特定
时间
,我希望失败。然而,任务失败了,但我没有收到电子邮件通知它。有人知道原因吗?任何帮助都将不胜感激。default_args = { 'depends_on_past': False, 'start_date': datetime.today/.local/lib/
浏览 3
提问于2022-10-27
得票数 0
1
回答
并行运行相同的Oozie作业多次,每个作业的参数值不同。
java
、
oozie
我想要运行一个程序,将给定的输入文件转换为另一种格式。当文件上传到输入表时,oozie调度程序应该启动作业。我该怎么做?
浏览 0
提问于2018-10-30
得票数 0
回答已采纳
3
回答
对于Apache
Airflow
,通过CLI手动触发DAG时如何传递参数?
airflow
我使用
Airflow
来管理ETL任务的执行和调度。已经创建了一个DAG,它工作正常。但是当通过cli手动触发dag时传递参数是可能的吗。例如:我的DAG每天下午1点半运行,处理昨天的数据(
时间
范围从昨天下午1点半到今天1点半)。数据源可能存在一些问题。我需要重新处理这些数据(手动指定
时间
范围)。因此,我是否可以创建这样一个气流DAG,当它被安排时,默认
时间
范围是从昨天的01:30到今天的01:30。然后,如果数据源有任何问题,我需要手动触发DAG,并手动传递
时间
范围作为参数。据我所知,
airflo
浏览 0
提问于2018-12-07
得票数 37
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
没看过这篇文章,别说你会用Airflow
调度工具Airflow
airflow 实战系列:基于 python 的调度和监控工作流的平台
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
大规模运行Apache Airflow的经验和教训
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券