腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1690)
视频
沙龙
1
回答
如何在带气流的红班次中执行SQL (版本1)
airflow
最好的情况是不要
使用
python操作符,但是我还没有在气流版本< 2中找到一个reshift操作符。
浏览 5
提问于2021-12-07
得票数 2
回答已采纳
1
回答
Airflow
PostgresOperator
:
使用
Airflow
“
redshift
”时
任务
失败
,
出现异常
airflow
、
postgres-operator
~$
airflow
版本2.1.2 python 3.8 我正在尝试
使用
dag在我的
redshift
集群上执行一些基本查询,但
任务
失败
并
出现异常
(日志中未显示) import datetimefrom
airflow
.operators.postgres_operator import
PostgresOperator
from
airflow
.operators.python_o
浏览 119
提问于2021-09-17
得票数 0
3
回答
如何在另一个DAG
使用
Python在气流中成功
时
触发DAG?
python
、
python-3.x
、
airflow
、
directed-acyclic-graphs
、
airflow-scheduler
Child Job中的
任务
应该在成功完成每天运行的Parent Job
任务
时
触发。如何添加外部作业触发器?我的代码from
airflow
import DAGfrom utils import FAILURE_EMAILS yesterday = datetime.comb
浏览 7
提问于2020-04-30
得票数 22
回答已采纳
1
回答
气流调度问题
airflow
上一次我忘记包括code样本
时
重新发布。 我在试图设置气流
时
遇到了一些问题。我一直试图
使用
一个简单的SQL脚本来完成一个非常基本的DAG设置。此外,尽管如果将DAG作为计划运行的一部分运行,DAG能够顺利地运行其单个
任务
,但我在手动执行DAG
时
所做的每一次尝试都
失败
了。我不知道为什么会这样。在更新DAG start_date和schedule_interval
时
,我一直在重命名dag_id,因为这似乎是一种推荐的做法。这有时会触发回填的DAG执行,但这些回填作业也总是<
浏览 0
提问于2018-07-27
得票数 1
回答已采纳
1
回答
在
使用
python的气流触发SQL
时
获取模板错误?
python
、
python-3.x
、
amazon-redshift
、
airflow
由于模板错误,它
失败
了。我的气流代码from
airflow
.operators.postgres_operator imp
浏览 3
提问于2020-04-14
得票数 0
回答已采纳
1
回答
将数据从亚马逊s3复制到红移
python
、
amazon-web-services
、
amazon-s3
、
amazon-redshift
、
airflow
我试图
使用
S3 bucket将数据从
Redshift
Database复制到
airflow
,下面是我的代码:path ='s3://my_bucket/my_file.csv' access_key=EMPTYASNULL MAXERR
浏览 0
提问于2018-04-03
得票数 2
回答已采纳
1
回答
如何仅当AWS雅典娜表中的新分区/数据在python中
使用
DAG
时
才触发气流
任务
?
python
、
airflow
、
amazon-athena
、
directed-acyclic-graphs
、
airflow-scheduler
我有一个像下面这样的风景: 我的代码 from
airflow
.contrib.sensors.aws_glue_catalog_partition_sensor() - timedelta(1), d
浏览 1
提问于2020-04-16
得票数 5
回答已采纳
1
回答
当试图
使用
S3存储从
Redshift
到RedshiftToS3Operator的SQL查询输出
时
,气流异常
amazon-web-services
、
airflow
、
amazon-redshift
from datetime import timedelta, datetimeimport
airflow
from
airflow
.operators.dummy import DummyOperatorfrom
airflow
.op
浏览 9
提问于2022-03-29
得票数 1
回答已采纳
2
回答
将TemplateNotFound与Jinja模板和SQL一起
使用
气流的
PostgresOperator
时
python
、
jinja2
、
airflow
当尝试在Jinja2中
使用
气流的模板功能(通过
PostgresOperator
)
时
,我无法获得渲染的东西。我很有可能做错了什么,但我对问题可能是什么感到迷茫。下面是一个重现我所得到的TemplateNotFound错误的例子:
airflow
_home = /home/gregreda/
airflow
task_id=&
浏览 3
提问于2016-06-14
得票数 13
回答已采纳
2
回答
Airflow
:将{{ ds }}作为参数传递给
PostgresOperator
python
、
scheduler
、
airflow
、
apache-airflow
我想
使用
执行日期作为我的sql文件的参数:dt = '{{ ds }}' task_id='s3_to_
redshift
', sql='s3_to_
redshift
.sql', params={'file': dt},
浏览 4
提问于2017-06-13
得票数 15
回答已采纳
1
回答
气流-尝试心跳
时
出现异常
!睡眠5.0秒
airflow
、
airflow-scheduler
我有一个有近50个
任务
并行运行的
Airflow
DAG。偶尔,我会遇到这样的异常。“尝试心跳
时
出现异常
!睡眠5.0秒”。
Airflow
文档说,这是由于
任务
的周期性心跳
失败
,调度器认为他们是僵尸。
浏览 0
提问于2018-10-01
得票数 1
1
回答
Airflow
DAG在BranchPythonOperator或ShortCircuitOperator之后不跳过
任务
airflow
、
apache-airflow
如果不存在,则应该跳过所有处理
任务
,并且分支应该转到DummyOperator。不幸的是,DAG并没有跳过所有的
任务
。它将跳过最多6个
任务
,但随后停止(下游
任务
状态未知),DAG
失败
。我在日志中找不到任何错误消息(因为
任务
没有
失败
)。
Airflow
版本1.8.1。我在下面附上了一些截图。在下面的DAG示例中,我用'XXXXX‘替换了敏感文件信息。我也尝试过ShortCircuitOperator,但只能跳过上海合作组织直接下游的
任务
浏览 46
提问于2018-01-04
得票数 1
回答已采纳
1
回答
气流2.0.2如何
使用
xcom在postgres
任务
中传递参数?
airflow
、
airflow-2.x
为了刷新元数据,有两个
任务
,传递用于获取和执行查询的ids列表( get_query_text_task) get_query_id_taskquery_and_push、#provide_context=True、op_kwargs={ 'sql’:read_sql(‘warmupqueryid.sql’}) get_query_text_task=
PostgresOperator
19351381,), (19351978,), (19356674,), (19356676,), (19
浏览 4
提问于2021-05-21
得票数 1
回答已采纳
1
回答
使用
条件语句的Apache
airflow
bash
、
postgresql
、
jar
、
conditional-statements
、
airflow
简而言之,我希望从数据库表中读取一些数据,并根据该表中某列的值执行不同的
任务
。 这是我用来获取数据的表。jar文件(对于运行jar文件,我计划
使用
Bash操作符)。我想
使用
Airflow
执行此
任务
。注意,我
使用
的是PostgreSQL。 这是我到目前为止已经实现的代码。from
airflow
.models import DAG from
airflow
.operators.postgres_operator import
PostgresOp
浏览 19
提问于2020-10-06
得票数 1
回答已采纳
1
回答
带有SSH连接的气流DAGs不能按计划在同一
时
间内开始运行
ssh
、
amazon-redshift
、
airflow
、
psycopg2
我
使用
Ubuntu在运行Win 10的本地机器上设置了气流2.0。我
使用
PostgreSQL作为数据库,CeleryExecutor和RabbitMQ作为芹菜后端。我创建了一些DAG,每个DAG都通过SSH隧道连接到
Redshift
数据库,并执行SQL命令。当我手动触发或通过调度程序运行时,每个DAG都会顺利运行。但是,当我为这些DAG同时开始运行设置日程
时
,我遇到了一个错误。另外,如果我将2个dag与2个
任务
合并为1个dag,则这个组合的dag运行良好。import
PostgresOperat
浏览 11
提问于2021-01-12
得票数 0
回答已采纳
1
回答
TypeError:
PostgresOperator
.partial()得到了一个意外的关键字参数'schedule_interval‘
airflow
因此,我试图在partial()中
使用
PostgresOperator
方法,但是我得到这个错误显然是因为我无意中将schedule_interval传递给它。所以我很困惑,我必须把这个参数传递给DAG,但是.partial()没有这样的参数,那么我应该如何创建这个进程和
任务
呢?我还没有找到任何关于如何实现它的信息。from
airflow
import DAGfrom
airflow
.providers.postg
浏览 4
提问于2022-09-12
得票数 0
回答已采纳
1
回答
将CSV文件从docker容器中加载到PostgresSQL
python
、
postgresql
、
docker
、
airflow
import
PostgresOperator
"owner2022,1,24), schedule_interval=timedelta(minutes=5) create_table =
PostgresOperator
PythonOperator( task_id="get_dat
浏览 10
提问于2022-01-27
得票数 1
1
回答
气流
PostgresOperator
只在与DAG相同的文件夹中找到SQL文件。
python
、
airflow
只有将SQL文件放在与DAG相同的文件夹中,我才能运行它:task_id="create_tables",postgres_conn_id="
redshift
",) 如果create_tables.sql位于不同的文件夹(父文件夹、兄弟文件夹)中,则
PostgresOperator
抛出jinja2
浏览 3
提问于2020-01-10
得票数 2
回答已采纳
1
回答
Apache
airflow
回填自动日期
airflow
、
airflow-scheduler
from
airflow
import DAGfrom datetime': datetime(2018, 4, 1),} dag = DAG(dag_id='
airflow
_backfilldefault_args=args, schedule_interval=
浏览 1
提问于2018-05-08
得票数 1
2
回答
在
Redshift
中创建视图
时
,有没有办法强制进行后期绑定?
postgresql
、
permissions
、
amazon-redshift
、
late-binding
我正在
使用
Airflow
来协调ETL。当用户创建没有后期绑定的视图
时
,许多
任务
都有
失败
的drop table子句。不能将所有
任务
更改为drop cascade。 有没有办法强制进行后期绑定?通过用户权限或
Redshift
配置。
浏览 19
提问于2019-07-08
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
AWS推出Apache Airflow全托管工作流MWAA
调度工具Airflow
大规模运行Apache Airflow的经验和教训
任务流管理工具-Airflow配置和使用
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券