腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(308)
视频
沙龙
1
回答
Airflow
dag
未按
照
开始
日期
和
计划
间隔
运行
airflow-scheduler
、
directed-acyclic-graphs
、
airflow
dag
参数包括: 'start_date': datetime.datetime(2021, 5, 6), 'email_on_retry': False, 'retry_delay': timedelta(minutes=5),
计划
时间
间隔
为: schedule_interval="0 14* * *&quo
浏览 37
提问于2021-05-06
得票数 1
回答已采纳
3
回答
如何检查何时为特定
dag
安排了下一次
Airflow
DAG
运行
?
python
、
scheduled-tasks
、
airflow
我设置了
airflow
并
运行
了一些day,
计划
每天
运行
一次"0 0** *“。 我想检查下一次
计划
运行
特定
dag
的时间,但我看不到在管理员中哪里可以做到这一点。
浏览 1
提问于2018-09-07
得票数 12
回答已采纳
2
回答
如何
运行
一个简单的气流
DAG
python
、
airflow
我想在指定的
日期
运行
一个简单的
DAG
。我正在努力改变
开始
日期
、执行
日期
和
回填之间的差异。
运行
DAG
的命令是什么?以下是我尝试过的:当我第一次
运行
该命令时,任务正确地执行,但是当我再次尝试时,它没有工作。下面是我
运行
的另一个命令:
airflow
backfill
da
浏览 7
提问于2017-01-23
得票数 20
回答已采纳
3
回答
为什么
airflow
对于每天的
dag
来说会跳过一天?
airflow
我有一个新创建的每日
dag
,我昨天(1月25日)设置了它,一旦它被气流加载,我可以看到它
运行
一次(
计划
_2021-0124T00:00:00+00:00),然后我手动触发了它一次,看看它是否工作,它确实工作了但我没有看到01-25的任何
运行
。我用过
airflow
dags next-execution并发现
airflow
计划
直接执行01-26的
dag
,可能是在世界协调时01-27 00:00。
浏览 98
提问于2021-01-26
得票数 1
回答已采纳
2
回答
Airflow
Dag
从不按照Google Composer上的时间表
运行
google-cloud-platform
、
airflow
下面是我的默认参数以及
开始
日期
和
计划
间隔
,后面是
dag
定义。如果手动触发,一切都会正常工作。但是我的
Dag
脚本都没有按照预定的时间
运行
。default_args = { 'start_date': datetime(2019,8,31),
浏览 10
提问于2019-09-02
得票数 0
2
回答
如何安排
dag
在一年中某月的某一天的特定时间
运行
。即,一次
python-2.7
、
airflow
、
apache-airflow
、
airflow-scheduler
我正在尝试执行一个只需要
运行
一次的
dag
。因此,我将
dag
的执行
间隔
设置为“@once”。但是,我得到了这个链接中提到的错误- default_args = {'depends_on_past': False,'email':
浏览 2
提问于2017-11-13
得票数 3
3
回答
气流不回填最近的
运行
airflow
由于某些原因,气流似乎不会触发每周时间表
间隔
的达格的最新
运行
。from
airflow
import
DAG
dag
_id=
dag
运行
调度程序您预计总共会有四个
DAG
浏览 3
提问于2016-08-09
得票数 3
回答已采纳
2
回答
如何正确设置气流调度器
python
、
scheduler
、
airflow
、
airflow-scheduler
我试图在
airflow
中安排任务,但显然不是那么明显。我想
运行
的任务非常简单,下面是
DAG
配置:from
airflow
import
DAG
from
airflow
.operators.python_operator import PythonOperator def print_hell
浏览 2
提问于2018-10-06
得票数 1
1
回答
消息到达AWS SQS队列后触发
Airflow
DAG
amazon-web-services
、
airflow
、
amazon-sqs
是否可以在消息到达SQS队列时安排
DAG
运行
?我还需要
dag
来处理队列中的消息。据我所知,这可以通过使用SQSSensor来完成,但我找不到任何示例,我对如何前进感到困惑。
浏览 24
提问于2021-08-02
得票数 0
1
回答
将
Airflow
DAG
计划
为从周一到周五独占
运行
,即仅在工作日
运行
python
、
cron
、
airflow
、
airflow-scheduler
、
pendulum
我有一个执行Python脚本的
DAG
,该脚本接受一个
日期
参数(当前
日期
)。我
计划
DAG
在周一到周五的早上6:00
运行
,即工作日的东部标准时间。
DAG
必须在星期一
运行
Python脚本,并将星期一的
日期
作为参数,对于星期二到星期五也是如此,星期五的
日期
作为参数。我注意到使用'0 6 * * 1-5'的调度
间隔
不起作用,因为星期五的执行直到下个星期一才发生。我将
计划
时
浏览 60
提问于2020-08-18
得票数 0
4
回答
气流: ExternalTaskSensor不会触发任务
python
、
airflow
、
directed-acyclic-graphs
、
airflow-scheduler
我已经在SO上看到了this
和
this的问题,并做了相应的更改。但是,我的从属
DAG
仍然停留在poking状态。下面是我的主
DAG
: from
airflow
import
DAG
from datetime='call_procedure', s
浏览 139
提问于2019-01-10
得票数 8
2
回答
如何将Apache气流start_date
和
schedule_interval配置为每天早上7时
运行
?
airflow
、
google-cloud-composer
我使用气流-2.3.3(通过GCP作曲家)
dag
_args: default_args: retries: 2 ftp_conn_id: 'ftp_dev' 我希望这个
DAG
每天早上7点
运行
,但它没有
运行
。在UI中,它表示下一
浏览 17
提问于2022-11-22
得票数 0
3
回答
如何阻止
DAG
回填?catchup_by_default=False
和
catchup=False似乎不工作,回填的气流调度程序
airflow
、
airflow-scheduler
在
airflow
.cfg中设置catchup_by_default=False似乎不起作用。此外,将catchup=False添加到
DAG
也不起作用。这是
dag
的设置。我只是在用。default_args = { &quo
浏览 1
提问于2018-09-05
得票数 4
3
回答
Airflow
动态
dag
创建
airflow
请告诉我,
airflow
中的
DAG
是没有任何实际数据(如参数)的图形(如占位符),还是类似于实例(用于固定参数)的
DAG
? 我想要一个系统,其中要执行的操作集(给定一组参数)是固定的。但每次
运行
这组操作时,此输入都会不同。简单地说,管道是相同的,但管道的参数在每次
运行
时都是不同的。 我想知道如何在
airflow
中配置这个?我应该为每组新的参数创建一个新的
DAG
吗?或任何其他方法?在我的例子中,图是相同的,但希望在不同的数据(来自不同的用户)上
运行
它。那
浏览 81
提问于2019-10-08
得票数 1
1
回答
如果调度
间隔
小于min_file_process_interval值(
Airflow
.cfg为1.10.2),则不会按照其
计划
来提取Dags。
airflow
、
airflow-scheduler
在
airflow
.cfg文件中,我将min_file_process_interval值配置为120秒。达格在每分钟后都有时间
间隔
运行
。我将min_file_process_interval更改为200秒,然后在200秒后
开始
执行
dag
计划
。澄清一下,如果情况相反,即
dag
调度
间隔
为2分钟,min_file_process_interval为1分钟,则
dag
将按照其日程
运行
良好。下面是我的爸爸: from
a
浏览 0
提问于2019-05-14
得票数 0
回答已采纳
4
回答
Apache
Airflow
scheduler不在
计划
时间触发
DAG
python
、
cron
、
airflow
、
directed-acyclic-graphs
当我安排
DAG
在每天的特定时间
运行
时,
DAG
根本不会执行。但是,当我重新启动
Airflow
when服务器
和
调度程序时,
DAG
在该特定
日期
的
计划
时间执行一次,并且从第二天起不再执行。我使用的是带有python 2.7.6的
Airflow
版本v1.7.1.3。下面是
DAG
代码:from
airflow
.operato
浏览 2
提问于2016-11-21
得票数 14
1
回答
气流
DAG
下一次
运行
卡在过去。
python
、
airflow
下一个气流
DAG
运行
的‘0014** 1,2,3,4,5’
计划
间隔
是2022-10-31,14 :00,这是5小时前。是否可以跳过未执行的
运行
而不实际
运行
DAG
?我也尝试过:手动触发
DAG
。将
计划
间隔
更改为现在并
运行
DAG
将创建3天的日志(2022-10-28,19:29:00)。将追赶改为True并不会执行任何新的
运行
。DEFAULT_ARGS = {
浏览 1
提问于2022-10-31
得票数 0
2
回答
每小时在气流中
运行
dag
airflow
、
airflow-scheduler
我的
Dag
'owner': '
airflow
', 'depends_on_past': False,}
dag
=
DAG
('Hourly_test_2', schedule_interval='0 *
浏览 1
提问于2020-01-10
得票数 0
2
回答
手动触发器后显示“无状态”的SSHOperator
airflow
、
airflow-scheduler
default_args = {} 当我在UI上手动触发它时,守护进程显示
运行
状态,但操作符保持白色,没有状态。如果这是有用的信息,我的
airflow
.config是默认的。就连这个都没在
运行
dag
=
DAG
(
da
浏览 0
提问于2018-06-21
得票数 2
回答已采纳
4
回答
如何正确工作气流schedule_interval
airflow
以我的理解,气流应该
运行
在"2016/03/30 8:15:00“上,但它在那个时候行不通。import BashOperatorfrom datetime import datetime, timedelta }
dag
_id='notice_slack', sched
浏览 5
提问于2016-03-30
得票数 18
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大规模运行Apache Airflow的经验和教训
任务流管理工具-Airflow配置和使用
使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
自学14天后,我毁掉了自己的数据工程师面试
活动推荐
运营活动
广告
关闭
领券