腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
气流
schedule_interval和start_date让它总是在下
一个
间隔启动
cron
、
airflow
、
mwaa
我如何配置
气流
(mwaa),使它将在同一时间(早上6点PST),每天考虑何时部署? start_date = previous_five_am 似乎每当我通过将start_date设置为前一天早上5时进行部署时,无论我何时部署进程或执行
气流
更新,它都会在接下来
的
6点启动。
浏览 2
提问于2021-02-20
得票数 3
1
回答
DAGs (
气流
)内
的
动态算子
python
、
scheduled-tasks
我想知道在
气流
,
气流
DAG
(有向无环图)中实现动态操作符目标的方法是好
的
还是坏
的
。根据API调用
的
结果,在
DAG
中
创建
“x”运算符
的
数量。例如,这个
DAG
每周运行一次。我所做
的
程序起作用了,但我不知道这是否是开发
气流
DAG
的
一个
好
的
实践。因此,我
的
浏览 0
提问于2019-05-24
得票数 5
回答已采纳
1
回答
动态
创建
任务列表
airflow
、
apache-airflow
我有
一个
DAG
,它是通过查询DynamoDB中
的
一个
列表和列表中
的
每个项来
创建
的
,这个任务是使用
一个
PythonOperator
创建
的
,并将它添加到
DAG
中。
dag
=
DAG
(
dag
_id='my_
dag
', ...)for task in tasks:
浏览 3
提问于2017-07-15
得票数 2
回答已采纳
1
回答
创建
一个
带
气流
的
dag
python
、
pandas
、
airflow
我想
创建
一个
dag
,它每小时运行一次,我们有
一个
导入和清理文件
的
cleanData进程,然后是
一个
storedata进程,它每天在上午8点和下午6点向我们发送两次报告如何在
dag
中包含时间?=
DAG
( default_args=default_args,
浏览 10
提问于2021-07-16
得票数 1
2
回答
使用Azure SQL server作为后端DB运行Apache
气流
odbc
、
azure-sql-database
、
python-3.6
、
airflow
、
pymssql
虽然
气流
能够连接到DB并
创建
表,即
气流
initdb成功运行,但我在运行
气流
调度程序时面临问题,因此触发
的
任务总是处于“运行”状态。这是运行
气流
调度程序时遇到
的
错误: FROM
dag</
浏览 4
提问于2020-12-16
得票数 0
1
回答
谷歌作曲家:找不到
dag
_id
google-cloud-composer
我动态地
创建
了
一个
dags集合(对所有对象使用相同
的
.py )。有
一个
build-
DAG
是我不能运行
的
:at get_
dag
(/usr/lo
浏览 7
提问于2018-07-30
得票数 0
1
回答
是否有可能从
气流
1中触发
气流
2进程,反之亦然?
airflow
、
airflow-scheduler
、
airflow-2.x
我们正在新旧
气流
之间进行迁移,我们试图实现从Airflow1到Airflow2
的
触发器(反之亦然),这有可能吗?
浏览 3
提问于2022-02-07
得票数 0
回答已采纳
1
回答
动态
创建
的
dags将自动从
气流
UI中删除。
airflow
我对Apache
气流
很陌生,所以我不确定
气流
的
所有特性。Id :d001 ,
Da
浏览 2
提问于2020-06-29
得票数 1
1
回答
确定
DAG
是否正在执行
airflow
、
directed-acyclic-graphs
我使用
的
气流
1.9.0与自定义SFTPOperator。我在我
的
DAG
中有代码,用来轮询SFTP站点来查找新
的
文件。如果找到任何文件,则为动态
创建
的
任务
创建
自定义任务id,并检索/删除文件。看起来,
气流
all服务器和
气流
调度器每秒钟迭代一次所有的
DAG
,并实际运行检索directory_list
的
代码。这意味着我正在访问SFTP站点~2x每秒来验证和提取文件列表。我希望有
浏览 0
提问于2018-08-03
得票数 2
回答已采纳
2
回答
如何在非
气流
运算符python函数中访问Xcom值
airflow
我有
一个
存储
的
XCom值,我想传递给另
一个
python函数,它不是使用PythonOperator调用
的
。'pivot_val' : pivot_val
dag
=
dag
sql_file_template() 存储
的
proc
的
输出是
浏览 5
提问于2020-08-28
得票数 2
1
回答
airflow.exceptions.AirflowException:找不到
dag
_id : sample_
dag
。要么该守护进程不存在,要么它无法解析。
airflow
我安装了
气流
。apache-airflow-providers-imap | 2.0.1然后,我cd到/home/user@local/airflow/dags和touch来
创建
一个
文件接下来,我跑了:但是
气流
抛出: airflow.exceptions.AirflowException:
dag
浏览 5
提问于2021-10-20
得票数 0
回答已采纳
1
回答
手动触发时
气流
解除暂停
airflow-2.x
、
airflow-api
我使用
的
气流
2.2.2,并有
一个
dag
,这是计划运行每10分钟,并暂停。我正在尝试使用
气流
客户端手动调用它。
Dag
没有被取消暂停,dagrun也在排队,声明。在
创建
dag
运行时,是否可以在不调用其他API调用
的
情况下使用
气流
客户端来取消
dag
。api_instance =
dag
_run_api.DAGRunApi(api_client)
dag
_
浏览 6
提问于2022-05-16
得票数 1
1
回答
Netflix对Apache
气流
的
Metaflow
airflow
、
scheduled-tasks
、
netflix-metaflow
我有
一个
关于Apache
气流
和Metaflow()之间
的
区别的问题。据我所知,Apache
气流
只是
一个
作业调度程序,它运行任务。Netflix
的
Metaflow是
一个
数据流库,它以
DAG
的
形式
创建
机器学习管道(可用数据流)。基本上意味着,Metaflow可以在Apache
气流
上执行吗? 我
的
理解正确吗?如果是,是否可以将Metaflow
DAG
转换为Apache<
浏览 7
提问于2022-01-03
得票数 2
回答已采纳
2
回答
气流
中
的
BigQuery参数化查询
parameters
、
google-bigquery
、
airflow
我试图使用
气流
在BigQuery中
创建
一个
参数化查询。将在
气流
中设置
的
参数,并将更改在BigQuery中运行
的
查询中
的
值。例如,这是我
的
查询: ( destination_dataset_table='prod.table_result',_id=‘table’,use_legacy_sql=False,WRITE_
da
浏览 5
提问于2020-12-02
得票数 2
1
回答
气流
中
的
追赶标志不能正常工作。
airflow-scheduler
、
airflow
步骤(今日为2020年1月7日)from datetime import datetimefrom airflow.operators.bash_operatorimport BashOperator
dag
=
DAG
(
dag
_id='example_
dag
', start_date=datetime(2020, 1, 1), catchup=False),
dag</em
浏览 3
提问于2020-01-07
得票数 0
回答已采纳
2
回答
气流
如何解析和存储schedule_interval
airflow
我正在致力于
一个
功能,需要schedule_intervals
的
气流
作业。我没有自己编写代码来解析
DAG
文件中
的
cron表达式,而是尝试在
气流
元数据DB中找到解析
的
schedule_interval值,但没有结果。有人能给我
一个
指针,说明
气流
如何解析schedule_interval表达式(例如,中
的
一个
文件),以及它将解析
的
值存储在哪里(如果存储这些值)?我正在建立
一个<
浏览 1
提问于2018-07-24
得票数 1
回答已采纳
2
回答
气流
执行同一操作员两次
airflow
我在LocalExecutor中使用
的
是
气流
1.8.0,我每天都有
一个
DAG
运行各种Redshift查询,使用postgres_operator在表中插入一些行。我只是注意到,有时,对于给定
的
TaskInstance,postgres_operator会被启动两次,所以最终我
的
表中有副本。当我查看TaskInstance
的
日志时,我看到了类似于有问题
的
taskInstances
的
情况:“2中
的
启动尝试1”在同一秒钟内
浏览 0
提问于2018-06-28
得票数 0
回答已采纳
1
回答
sqlite3.OperationalError:尝试连接到S3
气流
钩时
amazon-s3
、
airflow
、
hook
我目前正在探索在我
的
一些
DAG
中实现钩子。例如,在
一个
进程中,我试图连接到s3,将
一个
csv文件发送到
一个
桶中,然后将其复制到
一个
红移表中。 我已经编写了
一个
自定义模块来运行这个进程。我目前正在尝试设置
一个
S3Hook来进行这个过程。但我有点搞不懂如何建立联系,以及一切是如何运作
的
。
浏览 9
提问于2021-12-15
得票数 0
1
回答
Airflow显示
DAG
导入错误(IndexError:列表索引超出范围),但
DAG
工作正常
python
、
bash
、
airflow
这是我用来触发python脚本
的
脚本。monthly_run',
dag
=
dag
) 我给出了两个在py脚本中使用
的
args。因为我对不同
的
args使用相同
的
脚本。但是,
气流
用户界面显示了有关args
的
浏览 3
提问于2022-07-20
得票数 2
回答已采纳
1
回答
气流
按普通id或params分组
architecture
、
airflow
、
pipeline
在
气流
中,大多数管道由一组
DAG
组成,每个
DAG
包含紧密相关
的
任务。
气流
是否有某种可以将
DAG
组合在一起
的
结构/对象?这样我们才能追踪整个输油管道
的
成败?
浏览 10
提问于2022-08-08
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
DOM-创建带文本的元素节点
Fantom-第一个基于dag的智能合约平台
DAG是加密世界的下一个大事件吗?
创建一个未来的科幻城市
用Rust创建一个简单的webserver
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券