腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9356)
视频
沙龙
1
回答
Airflow
-
Bigquery
运算符
未按
预期
工作
sql
、
google-bigquery
、
airflow
我对
Airflow
是个新手,目前我被
Bigquery
操作符的问题所困扰。我正在尝试对给定数据集中的一个表执行一个简单的查询,然后将结果复制到同一数据集中的一个新表上。我使用
bigquery
运算符
来做这件事,因为根据文档,'destination_dataset_table‘参数应该做我正在寻找的事情(来源:https://
airflow
.apache.org/docs/stable/_api/
airflow
/
浏览 7
提问于2020-09-11
得票数 0
1
回答
气流中不存在BigQueryCheckAsyncOperator
google-bigquery
、
airflow
我试图为
bigquery
使用异步
运算符
;但是,ImportError: cannot import name 'BigQueryCheckOperatorAsync' from '
airflow
.providers.google.cloud.operators.
bigquery</
浏览 14
提问于2022-11-18
得票数 0
回答已采纳
1
回答
无法在Apache
Airflow
中使用
BigQuery
运算符
google-bigquery
、
airflow
我正在创建一个数据管道,通过
BigQuery
运算符
或谷歌云库从
Bigquery
获取数据。但是我总是得到一个错误。下面是大查询
运算符
的dag:from datetime import datetime, timedeltafrom
airflow
.contrib
浏览 13
提问于2021-05-13
得票数 0
1
回答
我的代码中是否需要to_delete参数才能从
BigQuery
提取到GCS?
python
、
google-cloud-platform
、
google-bigquery
、
airflow
、
directed-acyclic-graphs
我使用Google编写了一些代码从
BigQuery
提取到GCS桶中,我不确定我的代码中是否需要to_delete参数。 to_delete.append(bucket) # from google.cloud import
bigquery
# client = <e
浏览 15
提问于2022-11-18
得票数 2
1
回答
如何对
BigQuery
中的一组参数运行查询
sql
、
google-bigquery
我正在寻找一种方法来运行参数化查询,对许多参数并行在谷歌
BigQuery
,这是可能的吗?在
bigquery
(理想情况下,作为一个查询)中是否有一种方法可以做到这一点,因为我查看的是1000 s的@company_id值和几个GB/日数据库,所以不希望成本急剧上升。
浏览 1
提问于2019-11-07
得票数 0
3
回答
apache-气流提供商-google
google-cloud-platform
、
airflow
、
mwaa
我试图在MWAA中安装apache--气流提供商--google,但是看起来气流并没有选择库: File "/usr/local/
airflow
/dags/mi-framework/jobs/googl
浏览 11
提问于2021-10-31
得票数 2
2
回答
如何将
BigQuery
表指定为AutoMLImportDataOperator
Airflow
Operator的输入源?
google-cloud-platform
、
airflow
、
google-cloud-automl
、
automl
根据
Airflow
Docs here中提供的文档,可以将AutoMLImportDataOperator配置为输入源。但是,我很好奇如何使用BQ表,因为AutoML表本身就有相应的功能。
浏览 13
提问于2020-03-25
得票数 1
1
回答
BigQueryCheckOperator在Cloud composer中失败,出现404错误
airflow
、
google-cloud-composer
我正在使用
Airflow
中的BigQueryCheckOperator来了解BQ表中是否存在数据,但Dag使用此ERROR - <HttpError 404 when requesting https://
bigquery
.googleapis.com/
bigquery
/v2/projects/失败 有人能告诉我如何解决这个问题吗?
浏览 0
提问于2020-07-30
得票数 0
1
回答
澳大利亚地区数据集的Cloud composer问题
google-cloud-platform
、
airflow
、
google-cloud-composer
我尝试使用cloud composer来调度和编排
Bigquery
作业。当我尝试使用驻留在欧盟和美国的数据集时,相同的设置
工作
得很好。"/usr/local/lib/
airflow
/
airflow
/contrib/operators/
bigquery
_operator.py", line 98, in execute self.create_disposition, self.query_param
浏览 11
提问于2019-02-13
得票数 0
回答已采纳
1
回答
在气流中进行数据库请求时出现的问题
airflow
task_id = "materialize_" + vname, google_cloud_storage_conn_id="google_cloud_default='
bigquery
_default', delegat
浏览 0
提问于2019-08-29
得票数 0
2
回答
AssertionError: INTERNAL:未指定默认项目
python-2.7
、
airflow
、
apache-airflow
不熟悉
airflow
。尝试运行sql并将结果存储在
BigQuery
表中。请帮帮我。/contrib/operators/
bigquery
_operator.py", line 82, in execute File "/usr/local/lib
浏览 12
提问于2017-08-11
得票数 4
回答已采纳
2
回答
Airflow
Google身份验证
未按
预期
工作
airflow
、
google-authentication
Configuration=>
airflow
.cfg:#auth_backend =
airflow
.contrib.auth.backends.password_authauth_backend =
airflow
.contrib.auth.backends.google_auth client_id = <client id> client_secret
浏览 2
提问于2019-03-11
得票数 3
1
回答
可以使用
airflow
BigQueryOperator创建DDL
bigquery
语句吗?
google-bigquery
、
airflow
是否可以在
Airflow
BigQUeryOperator中生成动态链接库语句(脚本)?因为脚本在
bigquery
UI上是可以的,但是当在
airflow
1.10.12上运行它时,我有一个经典的错误'not found in location US‘,这对我没有太大帮助。
浏览 2
提问于2020-12-16
得票数 0
2
回答
Airflow
将postgres DB的所有表导出到
BigQuery
postgresql
、
google-bigquery
、
google-cloud-storage
、
airflow
、
google-cloud-composer
我目前正在使用
Airflow
PostgresToGoogleCloudStorageOperator和GoogleCloudStorageToBigQueryOperator将我的PostgresDB (托管在AWS RDS上)的每个表导出到
BigQuery
。它可以
工作
,但我有75张桌子,所以
Airflow
创造了75 *2个
工作
岗位。由于我刚接触
Airflow
,我不知道这是不是一个好的做法。转换为GCS,然后将其导入
BigQuery
。
浏览 13
提问于2020-01-31
得票数 5
回答已采纳
4
回答
<=
运算符
未按
预期
工作
iphone
如果我点击“后退按钮”来删除位置0-3的最后一个数字,它就会正常
工作
,并删除最后一个数字。如果我点击位置4上的“后退按钮”,就会抛出警报。我做错了什么?如何删除第5位(数组中的第4位)?
浏览 4
提问于2011-08-08
得票数 1
回答已采纳
3
回答
使用
bigquery
运算符
设置气流
google-bigquery
、
airflow
不幸的是,到目前为止,我还不能让它与
bigquery
操作符一起
工作
。我已经尽了最大的努力寻找解决方案,但我还是被卡住了。我使用的是本地运行的顺序执行器。下面是我的代码:from
airflow
.contrib.operators.
bigquery
_operator import BigQueryOperator='
bigquery
_default', udf_con
浏览 3
提问于2016-08-27
得票数 10
回答已采纳
2
回答
airflow
运算符
导入似乎不起作用
airflow
我正在创建我的第一个使用subdag的dag,并导入subdag
运算符
`from
airflow
.operators.subdag import SubDagOperator` 然而,我一直收到流错误"Broken : /usr/local/
airflow
/dags/POC_Main_DAG.py没有名为‘
airflow
.operators.subdag’的模块“ 我还尝试导入虚拟操作符,但得到了相同的错误另一方面,下面的
运算符
似乎是按
浏览 8
提问于2021-01-06
得票数 2
回答已采纳
2
回答
处理空值的javascript说明
javascript
、
if-statement
、
null
‘
运算符
,但仍
未按
预期
工作
浏览 1
提问于2016-03-01
得票数 0
1
回答
用DataprocCreateClusterOperator (气流2.0)传递元数据场面临的问题
python
、
airflow
、
google-cloud-dataproc
、
airflow-2.x
DataprocCreateClusterOperator在Dataproc集群中安装软件包时,我面临一些问题,我正在尝试升级到气流2.0ValueError: metadata was invalid: [('
bigquery
-connector-version', '1.1.1'), ('spark-
bigquery
-connector-version', '0.17.2'), ('PIP_PACKAGES', 'oyaml
浏览 6
提问于2021-12-21
得票数 1
回答已采纳
1
回答
使用mysql_to_gcp negsignal.sigkill的气流
google-cloud-composer
、
airflow
我正在使用
airflow
with composer (GCP)从云sql for gcs中提取数据,在gcs for
bigquery
之后,我有一些介于100 Mb和10 Gb之间的表。我使用了mysql_to_gcs和gcs_to_
bigquery
运算符
浏览 2
提问于2021-03-16
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
自学14天后,我毁掉了自己的数据工程师面试
任务流管理工具-Airflow配置和使用
迁移工具 Air2phin 宣布开源,2 步迁移 Airflow 至 Dolphinscheduler
大规模运行Apache Airflow的经验和教训
为什么数据科学家不需要了解Kubernetes
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券