腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(720)
视频
沙龙
1
回答
如何将
Avro
文件
从
云
存储
加
载到
Google
Cloud
Datalab
的
BigQuery
表
中
?
google-bigquery
、
google-cloud-datalab
将
BigQuery
表
导出至
云
存储
Avro
文件
成功job_id = table.extract(destination=gs_object,format='
avro
')table = bq.Table(bq_table_ref) job_id = ta
浏览 9
提问于2018-02-07
得票数 0
1
回答
数据流-将
avro
对象
存储
到未知
的
GCS
文件
夹
google-bigquery
、
google-cloud-storage
、
google-cloud-dataflow
、
avro
、
google-cloud-pubsub
我有一个DataFlow管道,它使用来自
云
发布/订阅
的
JSON消息,将它们转换为
Avro
,并将它们
存储
到
Google
Cloud
Storage。有没有办法让DataFlow根据某个JSON字段将每个
Avro
对象
存储
到GCS
中
的
不同
文件
夹
中
,如果它
的
值实际上可以是任何值的话?此
文件
夹结构
的
目标是通过
云
浏览 17
提问于2020-02-20
得票数 0
1
回答
将SQL数据库转到
Bigquery
,或将SQL数据库转到GCS到
BigQuery
。
google-bigquery
、
google-cloud-storage
在always
的
“用
Google
平台进行数据工程”一书中,为了将数据
从
sql数据库加
载到
BigQuery
,作者总是先将数据
从
sql加
载到
,然后将其作为暂存环境使用,然后才将数据加
载到
BigQuery
通过GCS步骤而不是直接进入
BigQuery
有什么好处?在何种情况下,您将直接将数据
从
SQL加
载到
BigQuery
?
浏览 8
提问于2022-08-16
得票数 0
回答已采纳
1
回答
谷歌
BigQuery
和谷歌
云
存储
之间是否共享
文件
?
google-bigquery
、
google-cloud-storage
我已经通过从谷歌
云
存储
加载CSV
文件
创建了一个
BigQuery
表
。 在这种情况下,
BigQuery
表
是引用
云
存储
中
的
CSV
文件
,还是将数据复制到自己
的
存储
中
?
浏览 7
提问于2016-07-26
得票数 2
回答已采纳
1
回答
使用大查询或大
表
查询聚合值
的
用例?
google-bigquery
、
bigtable
、
google-cloud-bigtable
我用它来设计30 TB文本
文件
的
存储
,作为在
Google
云
上部署数据管道
的
一部分。我
的
输入数据是CSV格式,我希望尽量减少为多个用户查询聚合值
的
成本,这些用户将使用多个引擎在
云
存储
中
查询数据。使用
云
存储
进行
存储
,并链接大查询
中
的
永久
表
以进行查询,或使用
Cloud
表</
浏览 0
提问于2019-01-24
得票数 0
回答已采纳
1
回答
直接创建
Avro
文件
到
python
、
google-cloud-storage
、
avro
我想跳过在本地创建
avro
文件
并将其直接上传到
的
步骤。from
google
.
cloud
import
bigquery
from oauth2client.c
浏览 1
提问于2019-12-02
得票数 2
0
回答
Google
云
存储
/大查询成本估算
python
、
google-bigquery
、
google-cloud-platform
、
google-cloud-storage
我正在尝试估算我
的
Google
Cloud
计划
的
每月总成本。 我
的
程序所做
的
是将输入
文件
从
亚马逊S3服务器加
载到
谷歌
的
云
存储
平台。然后,它使用这些导入
的
数据在
Google
中
创建一个
表
,然后以
BigQuery
格式将创建
的
表
导出回
Cloud
S
浏览 5
提问于2017-06-14
得票数 2
回答已采纳
1
回答
从
BigQuery
读取数据并将其写入
云
存储
上
的
avro
文件
格式
java
、
google-bigquery
、
google-cloud-storage
、
google-cloud-dataflow
、
avro
我
的
目标是
从
BigQuery
表
中
读取数据,并使用Java将其写入
云
存储
上
的
Avro
文件
。如果有人提供代码片段/想法来编写
BigQuery
表
数据,并使用
Cloud
Dataflow将其写入
avro
格式
的
数据,那将是一件好事。
浏览 16
提问于2019-09-11
得票数 0
1
回答
如何将
DataFrame导出到
云
硬盘?
python
、
pandas
、
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
我有一个由
BigQuery
表格制成
的
DataFrame。我已经对这个
表
做了一些转换,现在我需要将它作为一个带(;分隔符)
的
.txt
文件
导出到
云
存储
中
。 我用
的
是
Datalab
笔记本。
如何将
转换后
的
表
作为
文件
加
载到
特定
的
存储
桶
中
?
浏览 10
提问于2021-08-11
得票数 1
回答已采纳
1
回答
使用spark将拼图数据
从
谷歌
云
存储
加
载到
BigQuery
apache-spark
、
google-bigquery
、
google-cloud-storage
如何
从
谷歌
云
存储
加载拼图数据到spark,并将其保存到
BigQuery
?
浏览 13
提问于2019-12-04
得票数 0
1
回答
未能将大数据
从
Google
BigQuery
导入到
Google
Cloud
DataLab
pandas
、
google-bigquery
、
google-cloud-datalab
为了使用Tensorflow进行机器学习,我尝试了两种方法,在
Google
中将大约5000万行( 18GB )
的
大
表
导入到
BigQuery
中
。首先,我使用(所需
的
所有模块都是导入
的
):data = pd.read_gbq(que
浏览 1
提问于2017-07-02
得票数 3
3
回答
是否可以将内容自动
从
Google
上传到
云
存储
?
python
、
google-drive-api
、
google-cloud-storage
、
google-cloud-pubsub
我需要将CSV
文件
从
Google
自动加
载到
BigQuery
中
,我想知道这样做是否可行: 我开发了一个python脚本,它将
存储
在
Cloud
中
的
CSV
文件
自动上传到<e
浏览 10
提问于2021-01-20
得票数 1
回答已采纳
1
回答
使用
云
函数将数据加
载到
BigQuery
表
的
问题
javascript
、
node.js
、
google-cloud-platform
、
google-bigquery
、
google-cloud-functions
我在试图将数据
存储
备份加
载到
BigQuery
中
的
现有
表
时遇到了问题。不确定我是否使用了错误
的
方法,但我试图实现
的
只是让我
的
云
函数
从
Data转储
中
更新这个
BigQuery
表
,而不是每天删除和创建--这似乎是适得其反
的
,我以前也这么做过。这是我
的
代码: exports.processFile = function
浏览 0
提问于2018-05-16
得票数 0
回答已采纳
1
回答
在加
载到
Bigquery
之前自动ETL数据
google-bigquery
、
google-cloud-functions
、
google-cloud-storage
、
google-cloud-dataflow
我将CSV
文件
添加到GCS
存储
桶
中
,每天或每周,每个
文件
名都包含(日期+特定参数)我们尝试了
云
函数(我们可以
从</
浏览 0
提问于2020-12-15
得票数 0
1
回答
Google
函数-错误:找不到模块
google
/
bigquery
google-cloud-platform
、
google-bigquery
、
dependencies
、
google-cloud-functions
、
google-cloud-storage
我正在创建一个
云
功能,它可以将
avro
文件
从
GCS移动到
BigQuery
,任何时候GCS中都会有新
的
文件
。我在GCP中使用
云
功能ui。我有512 MB
的
内存分配。触发器是
Google
存储
。下面是我
的
密码。我可以成功地部署,但是我在部署后会收到下面的错误,没有任何东西会移动到
BigQuery
。 此外,我试图将
avro
文件
从
浏览 0
提问于2019-05-02
得票数 1
回答已采纳
1
回答
如何将
dask数据帧写入
google
云
存储
或
Bigquery
python
、
pandas
、
google-bigquery
、
dask
、
google-cloud-datalab
我正在为我
的
ML项目使用
google
cloud
datalab
。我
的
一个数据在
bigquery
表
中
,该
表
有数百万条记录(文本数据),其中有许多列。我
从
bigquery
表
创建了一个pandas数据帧,将其转换为dask数据帧(具有5个分区),并执行了数据辩论。现在,我有了这个dask数据帧,我想将其
存储
在
bigquery
中
,或者
浏览 16
提问于2019-02-14
得票数 0
3
回答
google
云
上
的
存储
hadoop
、
google-bigquery
我正在尝试找出在谷歌
云
上
存储
数据
的
最佳方式。我
的
理解是HDFS不会工作,因为每次集群关闭,HDFS数据都会消失,所以我每次都必须
从
CSV转换到HDFS,这很耗时。似乎正确
的
策略是使用
BigQuery
,但是我不能确定
BigQuery
是否是持久性
的
?
浏览 20
提问于2017-06-28
得票数 0
回答已采纳
1
回答
当
文件
上传到
存储
桶/
云
存储
时,自动开始加
载到
BigQuery
google-cloud-platform
、
google-bigquery
我们有一个
从
另一个数据库导出csv
文件
的
脚本,并将它们上传到GCP
云
存储
上
的
存储
桶
中
。现在我知道可以使用
BigQuery
数据传输服务计划加
载到
BigQuery
中
,但我有点惊讶
的
是,似乎没有一个解决方案可以在
文件
上传完成时自动触发。 我错过了什么吗?
浏览 20
提问于2021-03-31
得票数 0
回答已采纳
1
回答
将
BigQuery
GA数据加
载到
红移
google-bigquery
、
google-cloud-functions
、
amazon-redshift
你能帮助我提供如何在
biGQuery
中加载我
的
谷歌分析数据到Redshift
的
方法吗?
云
函数能做到这一点吗?或者,我如何
从
python端触发它,而不是使用
bigquery
脚本来调用
BigQuery
端?
浏览 0
提问于2019-11-28
得票数 1
1
回答
从
谷歌
云
存储
提供谷歌客户端服务帐户
的
keyFilename
google-bigquery
、
google-cloud-functions
、
service-accounts
、
google-cloud-iam
为了
从
Google
Cloud
函数连接到存在于不同GCP项目中
的
Google
Cloud
BigQuery
,我创建了
BigQuery
客户端,如下所示: const {
BigQuery
} = require('@
google
-
cloud
/
bigquery
'); keyFilename: 'path
浏览 15
提问于2020-01-22
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
谷歌推出Bigtable联邦查询,实现零ETL数据分析
数据湖和SQL并不矛盾
Google Cloud AI产品调研与分析
Google发布供用户审核企业数据库的Cloud SQL for MySQL扩展组件
自学14天后,我毁掉了自己的数据工程师面试
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券