腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2876)
视频
沙龙
2
回答
Airflow
将
postgres
DB
的
所有
表
导
出到
BigQuery
postgresql
、
google-bigquery
、
google-cloud-storage
、
airflow
、
google-cloud-composer
我目前正在使用
Airflow
PostgresToGoogleCloudStorageOperator和GoogleCloudStorageToBigQueryOperator将我
的
Postgres
DB
(托管在AWS RDS上)
的
每个
表
导
出到
BigQuery
。它可以工作,但我有75张桌子,所以
Airflow
创造了75 *2个工作岗位。由于我刚接触
Airflow
,我不知道这是不是一个好
的
做法。在任何
浏览 13
提问于2020-01-31
得票数 5
回答已采纳
1
回答
ModuleNotFoundError:没有名为“httplib2”
的
模块--在气流中使用BigQueryToCloudStorageOperator
docker
、
google-cloud-platform
、
google-bigquery
、
airflow
我正在尝试创建一个气流(1.10.9)样条,我使用
的
是对接器映像(我正在使用本地,
所有
事情都很好,直到我试图导入。)下面是我正在使用
的
docker-compose.yml:services: image:
postgres
:9.6environment: -
POSTGRE
浏览 0
提问于2021-10-02
得票数 0
2
回答
如何使用
Airflow
将
BigQuery
分区导
出到
GCS
google-cloud-platform
、
google-bigquery
、
partition
我需要创建一个
Airflow
作业,
将
BigQuery
表
中
的
分区导
出到
给定范围
的
_PARTITIONDATE之间
的
GCS。我需要分区是在单独
的
文件与日期
的
分区。我如何才能做到这一点?我已经尝试过使用
airflow
任务来使用SQL来获取_PARTITIONDATE,但是我可以通过编程来实现吗?
浏览 0
提问于2019-09-17
得票数 1
1
回答
从
BigQuery
导
出到
MySQL时出错
airflow
、
google-cloud-composer
我正在尝试
将
一个
表
从
BigQuery
导
出到
Google数据库。我找到了一个叫BigQueryToMySqlOperator
的
操作符(在这里有文档,) 当我
将
包含此任务
的
DAG部署到composer时,任务总是由于错误而失败。/lib/python3.8/site-packages/
airflow
/providers/google/cloud/hooks/
b
浏览 2
提问于2021-07-23
得票数 0
回答已采纳
4
回答
从teradata到
bigquery
的
数据迁移
google-bigquery
、
google-cloud-storage
、
teradata
、
database-migration
我
的
需求是
将
数据从teradata数据库迁移到Google
bigquery
数据库,其中表结构和模式保持不变。稍后,使用
bigquery
数据库,我想生成报告。 有没有人能建议我如何做到这一点?
浏览 0
提问于2017-07-19
得票数 0
1
回答
码头-与气流组合- MS SQL Server (连接失败)
python
、
sql-server
、
docker
、
docker-compose
、
airflow
我无法连接在Server内部
的
气流使用对接-合成。我想直接从SQL Server获取数据到云存储,然后
将
数据发送到Big Query。from
airflow
.contrib.operators.
bigquery
_operator import BigQueryOperator from
airflow
.contrib.operators.
bigquery
_check_operator-
POSTGRES
_
DB
=<
浏览 0
提问于2019-05-29
得票数 0
2
回答
提取-提取操作中
的
BigQuery
错误:发生内部错误,请求无法完成。
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
、
bq
我正在尝试使用控制台中
的
以下命令
将
表
从
BigQuery
导
出到
google存储:我得到以下错误: 提取操作中
的<
浏览 1
提问于2020-07-14
得票数 0
1
回答
Docker-复合
postgres
不能在新创建
的
数据库中插入我
的
表
postgresql
、
docker
、
docker-compose
、
airflow
我正在尝试自动化Docker中
的
INIT进程,所以每当我在一个空
的
数据目录中进行对接时,它就会创建两个DBS,第一个是气流,第二个是我
的
测试
DB
,因此,例如,当我
将
Postgres
组合起来时,在我
的
新测试
DB
中运行第一个SQL文件来创建
表
。谁能告诉我如何在我
的
测试数据库中插入
所有
元数据
表
,而不是气流一号
postgres
:
浏览 9
提问于2022-05-23
得票数 0
回答已采纳
2
回答
码头-气流-当我进行对接时,如何在气流数据库中输入我
的
postgres
脚本?
postgresql
、
docker
、
docker-compose
、
airflow
我正在测试一些东西,我必须插入我
的
Postgres
到气流
Postgres
当我组成它应该自动输入一次,因为它将在以后缓存,因为气流
DB
通常工作。谢谢
浏览 3
提问于2022-05-18
得票数 2
回答已采纳
1
回答
如何通过
AIRFLOW
将
数据从GCP
Postgres
sql导
出到
GCS中
的
csv文件?
postgresql
、
google-cloud-platform
、
airflow
我们
将
GCP与
Postgres
sql结合使用。需要将
postgres
中
的
一个
表
导
出到
google云存储桶中
的
csv文件,但只能通过
AIRFLOW
。不确定是否可以使用API调用/运算符。
浏览 4
提问于2020-05-12
得票数 1
1
回答
Postgres
+
Airflow
db
:拒绝模式公共权限
postgresql
、
permissions
、
airflow
、
schema
、
psycopg2
我试图设置
Postgres
作为后端数据库为我
的
气流安装。CREATE DATABASE
airflow
_
db
; CREATE USER
airflow
_user WITH PASSWORD '
airfl
浏览 6
提问于2022-11-10
得票数 0
2
回答
气流日志文件异常
airflow-scheduler
、
airflow
我正在使用apache
airflow
来运行我
的
dags。服务器、调度器和
postgres
的
docker组合文件是:services: image:
postgres
:12environment: -
POSTGRES
_PASSWORD=<
浏览 0
提问于2020-07-27
得票数 2
2
回答
如何使用对接组合文件设置气流中
的
连接和变量
docker
、
docker-compose
、
airflow
我想知道是否可以在这个文件中设置我
的
连接和变量。我知道我可以使用带有URI参数
的
AIRFLOW
_CONN_...来建立连接。: postgresql+psycopg2://
airflow
:
airflow
@
postgres
/
airflow
POSTGR
浏览 17
提问于2021-09-27
得票数 4
回答已采纳
1
回答
无法使用docker连接到
airflow
中
的
postgres
数据库
docker
、
airflow
对于tl;dr,我
的
帖子底部包含尝试在我
的
airflow
dag中创建
postgres
表
时得到
的
错误。: -
POSTGRES
_PASSWORD=
airflow
-
POSTGRES
_
DB
/dags:/usr/local/<
浏览 6
提问于2020-10-29
得票数 2
1
回答
带
postgres
的
气流"
db
init“
airflow
在
将
Postgres
数据库与气流连接时,我参考了和。其中,airflowadmin既是
postgres
用户
的
用户名,也是密码,airflowdb是创建
的
postgres
db
,a
浏览 3
提问于2021-09-07
得票数 1
回答已采纳
1
回答
google-cloud-composer
BigQuery
交叉数据集加载
google-bigquery
、
google-cloud-composer
、
airflow
我正在尝试运行一个简单
的
select查询(从biqquery),并使用Composer
将
结果集加载到另一个bq
表
中。然而,我在代码
的
最后一行得到了一个错误。损坏
的
DAG: /home/
airflow
/gcs/dags/es_tc_etl_wkf_mtly.py无效语法(es_tc_etl_wkf_mtly.py,第47行)import
airflow
import
bigquery
_operat
浏览 1
提问于2021-04-09
得票数 0
1
回答
将
apache气流(码头)与GCP云连接起来
docker
、
google-cloud-platform
、
airflow
第一次尝试
将
运行在码头
的
气流与谷歌云连接起来。我有两个问题:
AIRFLOW
__CELERY__RESULT_BACKEND:
db
+postgresql: image:
postgre
浏览 9
提问于2022-02-14
得票数 1
1
回答
气流2/码头:在码头中添加自定义网络-Compose.yml失败
postgresql
、
docker
、
docker-compose
、
airflow
@
postgres
/
airflow
但是,在启动我
的
坞-组合管道时,除
Postgres
和Redis (worker、webserver、flower、scheduler)以外
的</
浏览 1
提问于2021-05-13
得票数 0
回答已采纳
1
回答
GCP数据摄取体系结构
google-cloud-platform
、
google-cloud-dataflow
我
将
开始研究从CSV和数据湖中获取到
BigQuery
的
GCP数据,我正在寻求您
的
建议,我可以使用哪些技术或架构。 我是GCP
的
新手,但我对数据工程技术有很好
的
理解,因为我正在为认证做准备。我尝试使用转换成管道
的
数据流简单地加载
BigQuery
,然后调度器在特定
的
时间运行管道。我遇到
的
问题是如何
将
已处理
的
CSV文件移动到其他桶中?我可以调用函数来移动文件吗?您所提供
的</em
浏览 4
提问于2022-10-21
得票数 1
1
回答
气流-使用副本导出PostgreSQL
表
python
、
postgresql
、
airflow
在气流中,我们有
Postgres
到GCS和S3操作符,它们都使用SQL获取结果并将其导
出到
目标。 但是对于大型
表
,最好使用COPY方法。是否有任何这样
的
操作人员在气流中通过拷贝输出数据,并且有选择地提到哪里
的
条件?
浏览 10
提问于2020-10-16
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
airflow 实战系列:基于 python 的调度和监控工作流的平台
ORACLE迁移到PostgreSQL迁移(二)——EDB 离线方法迁移
ORACLE迁移到PostgreSQL迁移(一)——EDB 在线方法迁移
详解openGauss客户端工具gsql的高级用法
Python3练习项目13:简单的BBS功能(上)
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券