腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4205)
视频
沙龙
3
回答
为什么
airflow
对于
每天
的
dag
来说
会
跳过
一天
?
airflow
我有一个新创建
的
每日
dag
,我昨天(1月25日)设置了它,一旦它被气流加载,我可以看到它运行一次(计划_2021-0124T00:00:00+00:00),然后我手动触发了它一次,看看它是否工作,它确实工作了但我没有看到01-25
的
任何运行。我用过
airflow
dags next-execution并发现
airflow
计划直接执行01-26
的
dag
,可能是在世界协调时01-27 00:00。所以它将完全
跳过
01-25。 我想知道
为什么</em
浏览 98
提问于2021-01-26
得票数 1
回答已采纳
1
回答
每月某天和时间
的
Airflow
DAG
计划
airflow
、
apache-airflow
、
airflow-scheduler
我们一直在将cron作业转换为
Airflow
DAG
,我很难弄清楚
DAG
在
Airflow
中
的
调度方式。一些day需要在
一天
中
的
特定时间(即上午7点)运行,其他day需要在一个月
的
特定日期/时间运行(即每月15日上午6点)。 一般
来说
,
Airflow
似乎
每天
都能正确运行
DAG
。因此,带有'start_date': datetime(2017,4,7)<e
浏览 2
提问于2017-05-29
得票数 4
1
回答
Apache气流中
的
开始日期和计划日期出现问题
airflow
、
airflow-scheduler
我正在使用,而且我对预定
的
日期和开始日期都有问题。default_args = { 'depends_on_past': False, 'start_date=
DAG
(
dag
_id='id', default_args=default_args, schedule_interval=
浏览 4
提问于2020-12-08
得票数 6
回答已采纳
3
回答
如何安排两个
DAG
在两个不同
的
schedule_intervals中运行,但第二个只在第一个完成后运行
python
、
airflow
、
scheduling
、
directed-acyclic-graphs
我有两个不同
的
DAG
需要在不同
的
频率上运行。一种是
dag
1需要每周运行一次,
dag
2需要
每天
运行。现在,
dag
2应该只在
dag
1完成时运行,在每次运行
dag
1时都会运行。我在两个不同
的
python模块中定义了两个
DAG
,如下所示。with
DAG
('
dag
1', 'owner&
浏览 2
提问于2019-08-26
得票数 0
回答已采纳
1
回答
将
Airflow
DAG
计划为从周一到周五独占运行,即仅在工作日运行
python
、
cron
、
airflow
、
airflow-scheduler
、
pendulum
我有一个执行Python脚本
的
DAG
,该脚本接受一个日期参数(当前日期)。我计划
DAG
在周一到周五
的
早上6:00运行,即工作日
的
东部标准时间。
DAG
必须在星期一运行Python脚本,并将星期一
的
日期作为参数,
对于
星期二到星期五也是如此,星期五
的
日期作为参数。我将计划时间间隔更改为'0 6 * * *',使其在
每天
上午6:00运行,并在
dag
开始时过滤掉‘0 6 * * 1-5’范
浏览 60
提问于2020-08-18
得票数 0
1
回答
气流调度问题
airflow
我一直试图使用一个简单
的
SQL脚本来完成一个非常基本
的
DAG
设置。我试图让
DAG
每小时运行一次,但无论我做了什么更改,
DAG
都按
每天
的
计划运行,这也反映在我从GUI中看到
的
情况中。此外,尽管如果将
DAG
作为计划运行
的
一部分运行,
DAG
能够顺利地运行其单个任务,但我在手动执行
DAG
时所做
的
每一次尝试都失败了。我不知道
为什么
会
这样。
浏览 0
提问于2018-07-27
得票数 1
回答已采纳
1
回答
在不同环境中使用气流变量和连接测试代码
的
最佳方法
continuous-integration
、
airflow
对于
我们
的
Airflow
项目(运行
Airflow
2.0.1),我已经实现了一些通用测试,用于验证
DAG
的
有效性,检查每个
DAG
是否有所有者/电子邮件,检查解析时间等。现在,我正在尝试设置一些CI/CD管道来运行这些测试,然后将
DAG
推送到Cloud Composer存储桶中。然而,如果我使用任何气流连接或变量,这个测试显然
会
失败,因为这些还没有在流道上创建。我不想做
的
是使用mocking,因为我
浏览 9
提问于2021-06-30
得票数 0
回答已采纳
1
回答
气流不流动。
airflow
、
airflow-scheduler
sql_alchemy_conn上安装了气流,将executor更改为LocalExecutor,将EC2更改为postgresql+psycopg2://postgres@localhost:5432/
airflow
我
的
问题是,当我创建一个
每天
都要运行
的
守护进程时,一切都很好,但是当我创建一个
dag
,它将在周一和周三上午10点运行时,气流不会运行它。有人知道我做错了什么吗?我应该怎么做才能解决这个问题?,运行良好且正确:fr
浏览 4
提问于2020-03-24
得票数 0
回答已采纳
3
回答
由于执行日期和开始日期,无法运行
Airflow
任务
airflow
每当我尝试运行
DAG
时,它将处于正在运行状态,但任务不会运行。我已将开始日期设置为datetime.today(),并将计划间隔设置为"* * *“。手动触发运行将启动
dag
,但由于以下原因,任务将不会运行: 执行日期为2017-09-13T00:00:00,但在任务开始日期2017-09-13T16:20:30.363268之前。我尝试了计划间隔
的
各种组合(例如
每天
的
特定时间),以及等待触发
dag
和手动触发。似乎什么都不起作用。
浏览 6
提问于2017-09-14
得票数 21
1
回答
气流调度器连续暂停运行
scheduler
、
airflow
气流网服务器气流调度器继续运行
DAG
from
airflow
import
DAG
from
airflow
.oper
浏览 0
提问于2018-03-17
得票数 7
3
回答
如何在大查询表中显示气流
DAG
状态
google-cloud-platform
、
google-bigquery
、
airflow
我想显示
DAG
(气流)
的
最终状态(成功/失败)到一个桌子在烧烤。就像该表可以包含:日期-时间,
DAG
-名称,状态等列,它将根据
DAG
的
最终状态进行填充。 请帮助;如何才能做到这一点?
浏览 15
提问于2022-03-07
得票数 1
回答已采纳
6
回答
更新添加任务后找不到
Airflow
DAG
任务
airflow
我在更新
dag
文件时遇到问题。
Dag
仍然保留着我
的
dag
文件
的
旧版本。我添加了一个任务,但当我检查日志和UI (
DAG
->Code)时,它似乎没有更新。 我有非常简单
的
任务。我当然检查了
airflow
.cfg中
的
dag
目录路径,并重新启动了
airflow
webserver/scheduler。我运行它没有问题(但使用旧
的
dag
文件)。
浏览 23
提问于2017-07-13
得票数 5
1
回答
在气流v1和v2之间“
跳过
”状态传播中
的
行为变化?
python
、
airflow
、
airflow-2.x
这
对于
具有NONE_SKIPPED触发器规则
的
处理程序任务
来说
很好,只有在没有
跳过
之前
的
任务(因此它们可以具有succces、failed或upstream_failed状态)时,才应该执行该任务,并且当其前面的任务中
的
任何一个任务是skipped时,应该
跳过
该任务。这是我正在使用
的
测试代码:from datetime import timedelta from
airflow
.models imp
浏览 6
提问于2022-01-05
得票数 1
2
回答
如何运行特定次数
的
气流
DAG
?
airflow
、
google-cloud-composer
如何运行指定次数
的
气流
dag
?但是,需要维护当前
的
计数和状态。使用上面的方法,我能够重复
DAG
'run‘。 需要专家
的
意见,有没有其他深刻
的
方法来运行气流
DAG
X次?谢谢。
浏览 7
提问于2018-12-14
得票数 3
1
回答
1.10.15中没有工作
的
气流Python分支机构
python
、
airflow
、
directed-acyclic-graphs
我
的
气流test_
dag
看起来像:
dag
_id='test_
dag
', catchup=False,branch_test(**context: dict) -> str: 因此,理论上,这应该运行step_one,然后运行branch_test,然后
跳过
它
的</
浏览 10
提问于2022-03-14
得票数 1
回答已采纳
1
回答
基于假日日历
的
不同时间风流运行数据
airflow
、
airflow-scheduler
我想根据假期日历在不同
的
时间开始气流作业。所需经费如下。
DAG
在正常
的
一天
下午5点运行,而在假日
的
上午9点。除了时间之外,作业是相同
的
来确定是否是假日,我们
会
查询一个数据库。在任务本身中,我可以运行isholiday()函数,如果这是正常
的
一天
,我会
跳过
。当然,我还是有正常
的
DAG
在下午5点运行我会为isholiday()做完全相反
的
检查。所以如果是假期我就<e
浏览 6
提问于2021-10-01
得票数 1
2
回答
气流:达格排定两次间隔几秒钟。
concurrency
、
cron
、
airflow
我试着
每天
只在00:15:00运行一次
DAG
(午夜15分钟),但是,它被安排了两次,间隔几秒钟。
dag
=
DAG
( default_args=default_args,)
浏览 3
提问于2019-11-27
得票数 2
回答已采纳
1
回答
在Azure Data Factory上生成高成本
的
Airflow
DAG
调度程序循环
python
、
airflow
、
azure-data-factory-2
、
airflow-scheduler
、
azure-data-factory-pipeline
我们
的
气流
DAG
在ADF上产生了非常高
的
成本。[2021-05-10 00:00:06,032] {{logging_mixin.py:112}} INFO - [2021-05-10 00:00:06,031]factory_name=os.environ["AZURE_DATA_FACTORY_NAME"], cred
浏览 1
提问于2021-06-11
得票数 0
2
回答
如何在气流中实现更复杂
的
dag
调度?
airflow
Airflow
可以轻松地以固定
的
时间间隔运行作业。这篇文章寻求关于如何处理更复杂
的
日程安排需求
的
建议。仅运行M-F;在星期一从execution_date - 0、- 1和execution date - 0中查找文件 这似乎是不实际
的
实现,我需要做
的
就是把它设计成拉出任何碰巧存在
的
文件并
浏览 65
提问于2019-04-16
得票数 0
回答已采纳
1
回答
从命令行界面手动触发
的
DAG
错误地记录CeleryExector
的
任务成功
python-3.x
、
redis
、
celery
、
airflow
我正在使用
airflow
版本
的
1.10.11,并有一个简单
的
测试
DAG
,看起来像这样:from
airflow
.operators.python_operator import PythonOperator pro
浏览 45
提问于2020-07-30
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
调度工具Airflow
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
大规模运行Apache Airflow的经验和教训
airflow 实战系列:基于 python 的调度和监控工作流的平台
没看过这篇文章,别说你会用Airflow
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券