腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
将
谷歌
BigQuery
表
中
的
GCP
数据
加
载到
Snowflake
google-bigquery
、
snowflake-cloud-data-platform
我在
谷歌
BigQuery
表
/视图中有
数据
,在
谷歌
云存储存储桶
中
。我已经为这个存储桶创建了一个集成和外部阶段,并且可以在
Snowflake
中
查看存储桶
中
的
文件。现在如何
将
数据
从
谷歌
BigQuery
表
加
载到
Snowflake
表
中
?
浏览 13
提问于2020-05-02
得票数 0
1
回答
有助于
将
数据
加
载到
多个云
数据
库
的
Python包或设计
python
、
amazon-web-services
、
azure
、
google-cloud-platform
、
amazon-dynamodb
我有一个
数据
框字典,每个
数据
框代表
数据
库
中
的
一个
表
。我想要将所有这些
表
加
载到
多个云
数据
库
中
,包括: AWS DynamoDB
Snowflake
(ODBC) AWS RedShift DocumentDB Azure CosmosDB
GCP
Spanner
GCP
BigQuery
GCP
FireStore
GCP<
浏览 17
提问于2019-10-29
得票数 0
2
回答
如何快速将
数据
从Google
bigquery
迁移到
Snowflake
?
google-bigquery
、
snowflake-cloud-data-platform
我刚刚在一个云
数据
库项目中工作,涉及一些大
数据
处理,需要快速地
将
数据
直接从
bigquery
迁移到
snowflake
。我在想,是否有任何直接
的
方法可以
将
数据
从
bigquery
推送到
snowflake
,而不需要任何中间存储。 请让我知道有一个实用程序或api或任何其他方式,
bigquery
提供推送
数据
到雪花。感谢你
的
帮助。
浏览 22
提问于2020-05-15
得票数 2
1
回答
迭代结果集时
的
性能问题
python
、
google-bigquery
我们使用google
Bigquery
库来查询
Bigquery
,并在python脚本
中
处理结果。处理部分转换
数据
并丰富
数据
,最后创建JSON对象。但是,我们在查询一个返回总计约3,5 GB大小
的
11 mio记录
的
表
时,会遇到性能问题。即使我们省略了处理,只获取页面也需要80分钟(在本地运行它时,或者在驻留在
bigquery
数据
集相同区域
的
VM /集群
中
,我们并没有真正观察
浏览 4
提问于2022-06-03
得票数 3
2
回答
ImportError:无法从'google.cloud‘导入名称'
bigquery
_storage_v1beta1’(未知位置)
python
、
google-bigquery
根据这个,我正在尝试使用
bigquery
_storage从
谷歌
云大查询
中
获取
数据
。ImportError: cannot import name '
bigquery
_storage_v1beta1' from 'google.cloud' (unknown location) 我
的
导入代码
bigquery
存储确实是根据pip show google-cloud-
bigquery
-storage安装
的</e
浏览 1
提问于2020-10-23
得票数 2
1
回答
我正在学习一个
BigQuery
教程,刷新了一个页面,但无法找回
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
我正在做一个自定进度
的
教程,当我第一次登录它
的
时候,它指导我
将
数据
加
载到
存储桶
中
,并从那里
将
数据
复制到
BigQuery
中
,等等。我刷新了页面,它消失了,我一直无法找到恢复它
的
方法。你知道如何回到我正在学习
的
教程吗?
浏览 1
提问于2020-10-20
得票数 0
1
回答
将
数据
从配置单元迁移到
BigQuery
google-cloud-platform
、
google-bigquery
我需要将70TB
数据
(2400个
表
)从本地配置单元迁移到
BigQuery
。最初
的
计划是
将
ORC文件从Hive加
载到
云存储,然后加
载到
BigQuery
表
。通过自动化或任何其他
GCP
服务实现这一点
的
更好方法是什么?
浏览 17
提问于2021-04-23
得票数 0
2
回答
Bigquery
定价比较:
将
数据
加
载到
Bigquery
使用Create外部
表
google-cloud-platform
、
google-bigquery
我
的
团队正在使用Google平台开发
数据
平台。我们
将
公司
的
数据
上传到上,并尝试在
Bigquery
上创建
数据
集市。但是,为了节省
GCP
的
使用成本,我们考虑
将
所有
数据
从gcs加
载到
bigquery
,或者在
bigquery
上创建外部
表
。 哪种方式更符合成本效益?
浏览 6
提问于2022-02-25
得票数 1
回答已采纳
2
回答
数据
处理-
BigQuery
对
数据
Proc+
BigQuery
google-bigquery
我们在
BigQuery
表
中有大量
的
原始
数据
(100亿到4000亿)。我们需要处理这些
数据
,以转换和创建星型模式
表
的
形式(
bigquery
中
可能是不同
的
数据
集),然后可以通过atscale访问这些
数据
。需要以下两种选择之间
的
利弊: 1.在
BigQuery
中
写入复杂
的
SQL,读取
数据
源
数据
浏览 10
提问于2020-01-14
得票数 0
1
回答
将
指标从Telegraf传送到
BigQuery
google-bigquery
、
telegraf
我想把指标从Telegraf发送到
GCP
的
BigQuery
。 我该怎么做呢?陷阱是什么?
浏览 0
提问于2019-02-06
得票数 1
1
回答
按策略列出
的
BigQuery
数据
集/
表
到期时间
google-cloud-platform
、
google-iam
、
google-bigquery
我正在尝试确定是否可以创建多个服务帐户,并为每个服务帐户创建不同
的
策略(甚至是通用策略)。在此策略
中
,我要设置
数据
集/
表
的
默认保留期。只有我(admin)可以在创建
表
后更改保留。
浏览 14
提问于2019-11-12
得票数 0
回答已采纳
1
回答
对存储在snowdfl
中
的
数据
的
分区级别访问
snowflake-cloud-data-platform
我是
snowflake
的
新手,在AWS上探索
snowflake
。当
数据
存储在
snowflake
中
时,我知道我们可以在分区
中
创建和管理
数据
,就像我们在hive中所做
的
那样。
浏览 6
提问于2020-12-03
得票数 0
回答已采纳
1
回答
从AWS帐户到
GCP
帐户
的
Snowflake
外部
表
复制
snowflake-cloud-data-platform
我
的
Snowflake
主账户中有一些外部
表
,该账户位于AWS区域。我需要在
GCP
雪花帐户
中
为相同
的
外部
表
做
数据
共享。如何
将
这些外部
表
复制到
GCP
区域,或者如何在
GCP
snowflake
帐户
中
创建外部
表
,并在亚马逊网络服务S3
中
指向这些外部
表
文件?
浏览 11
提问于2021-09-16
得票数 0
1
回答
无法
将
数据
加
载到
BigQuery
US
数据
集中,但可以加
载到
东亚
数据
集中
google-cloud-platform
、
google-bigquery
、
dataset
所以问题是,我无法
将
数据
加
载到
位于美国位置
的
数据
集'dw‘
中
的
GCP
BigQuery
。然而,我能够加载东亚位置
的
数据
。我正在尝试使用NiFi摄取工具
将
数据
加
载到
数据
集'dw‘(美国位置)
中
的
分区
表
中
,但没有出现错误,也没有加载任何<em
浏览 5
提问于2021-02-05
得票数 0
2
回答
如果
表
中
已存在内容,则避免在
Bigquery
中
重新加载
数据
google-bigquery
、
airflow
、
etl
我需要编写dag,这样它就可以
将
csv文件
的
内容加
载到
Bigquery
表
中
,但是如果
表
中
已经存在该内容,它就会丢弃该文件。我知道我们可以在正常
的
编程中计算文件
的
哈希,但不知道如何处理Airflow和
Bigquery
。有人知道怎么做吗?
浏览 0
提问于2021-09-13
得票数 0
1
回答
如何从按年份/月/日分区
的
桶中加载
数据
到
bigquery
google-bigquery
我们有一个
数据
存储在
gcp
桶
中
,格式如下- gs:/gcptest/Year=2020/Month=06/day=18/test1.parquet和day=18文件夹下
的
这么多文件。我希望在
bigquery
中
创建一个
表
,其中
的
列存在于文件
中
,并按文件路径上
的
年份、月份和日期进行分区。这样,当我
将
数据
加
载到
表
浏览 3
提问于2020-06-18
得票数 1
回答已采纳
4
回答
从s3加载
数据
的
经济高效
的
BigQuery
amazon-s3
、
google-cloud-platform
、
google-bigquery
我每天都需要加
载到
BigQuery
的
分区
表
中
,在s3
中
创建了(2 TB)大小为20k
的
文件。文件每5分钟滚动一次。
将
数据
传输到
BigQuery
的
最经济高效
的
方法是什么?我正在寻找在亚马逊网络服务s3到
GCP
网络出口和实际
数据
加载
的
成本优化。
浏览 1
提问于2019-12-19
得票数 0
1
回答
使用SSIS
将
数据
从prem sql server加
载到
bigquery
google-bigquery
我在本地sql服务器和
GCP
之间建立了VPN连接。我需要将超过1000万行
的
数据
从sql服务器加
载到
bigquery
。有没有办法做到这一点?我可以使用SSIS
将
数据
加
载到
bigquery
吗?我
的
团队领导要求使用
数据
流
将
数据
加
载到
bigquery
,而不是使用SSIS。
浏览 12
提问于2019-12-18
得票数 0
1
回答
如何为每个“记录”类型字段消除__key__
表
中
的
BigQuery
列?
google-cloud-platform
、
google-cloud-firestore
、
google-bigquery
、
google-cloud-functions
对于Firestore
表
的
每一种“记录”类型,
BigQuery
都会自动添加“键”列。我不希望为每个“Record”Type字段添加这些内容。如何摆脱这些由
BigQuery
自动添加
的
额外列?(我想去掉
BigQuery
表
模式
中
以黄色突出显示
的
下列列)
浏览 1
提问于2020-06-08
得票数 0
回答已采纳
2
回答
GCP
日志记录库不导出
google-cloud-platform
、
google-bigquery
、
google-cloud-stackdriver
、
google-cloud-logging
问题:我已经在
GCP
日志记录
中
创建了一个
BigQuery
接收器,但是没有
数据
被导出到
BigQuery
表
中
。 我可以在
GCP
日志记录
中
的
“Logging”选项卡中看到创建
的
接收器。此外,我可以在
BigQuery
中看到相应
的
数据
集和
表
。我还检查了相应
的
服务帐户是否有足够
的
权限。它具有"<
浏览 9
提问于2020-09-01
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
开源PostgreSQL第四次成为年度数据库
2022 全球数据库排行,Snowflake又夺冠军
谷歌推出Bigtable联邦查询,实现零ETL数据分析
DB-Engines 公布 2022 年度数据库,Snowflake 成功卫冕
数据湖和SQL并不矛盾
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券