腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2274)
视频
沙龙
1
回答
使用
spark
将
拼图
数据
从
谷歌
云
存储
加
载到
BigQuery
apache-spark
、
google-bigquery
、
google-cloud-storage
如何
从
谷歌
云
存储
加载
拼图
数据
到
spark
,并将其保存到
BigQuery
?
浏览 13
提问于2019-12-04
得票数 0
3
回答
google
云
上的
存储
hadoop
、
google-bigquery
我有以下用例:需要
使用
PySpark分析大量结构化
数据
。
数据
当前为CSV格式。我正在尝试找出在
谷歌
云
上
存储
数据
的最佳方式。我的理解是HDFS不会工作,因为每次集群关闭,HDFS
数据
都会消失,所以我每次都必须
从
CSV转换到HDFS,这很耗时。似乎正确的策略是
使用
BigQuery
,但是我不能确定
BigQuery
是否是持久性的?
浏览 20
提问于2017-06-28
得票数 0
回答已采纳
1
回答
bq命令
将
拼图
文件
从
GCS加
载到
BigQuery
,列名以数字开头
google-bigquery
我
使用
bq命令
将
拼图
文件加
载到
BigQuery
中,我的parquet文件包含以数字开头的列名(例如,00_abc、01_xyz)。由于
BigQuery
不支持列名开始编号,所以我已经在
BigQuery
中创建了列,如_00_abc、_01_xyz。但是,我无法
使用
bq命令
将
拼图
文件加
载到
BigQuery
。是否有任何方式指定源列00_abc (
从
parquet文件)<e
浏览 15
提问于2022-05-13
得票数 2
2
回答
可以在亚马逊网络服务S3上的
拼图
文件上编写/运行
BigQuery
吗?
google-bigquery
我们想要检查外部商店
拼图
文件的
BigQuery
性能。这些
拼图
文件
存储
在亚马逊网络服务的S3上。在不传输文件到GCP的情况下,可以编写可以在亚马逊网络服务S3
存储
的拼花面板文件
数据
集上运行的
BigQuery
。
浏览 0
提问于2020-03-03
得票数 0
2
回答
如何计算
将
数据
从
蔚蓝
数据
转移到google
BigQuery
时的成本
azure
、
google-cloud-platform
、
google-bigquery
我们在Azure中有一个
数据
存储
管道,可以
将
一个前提下的SQL表移动到Azure blob
存储
的Gen2中。我认为大部分费用都来自Azure仓库,对吧?现在,我们希望
将
这些
数据
移动到
BigQuery
。由于我们的安全策略,我们仍然需要
数据
表管道
从
SQL表中读取。因此,我们创建了一个
数据
库笔记本,以读取拼花文件,并移动到
BigQuery
使用
火花
BigQuery
连接器。
浏览 5
提问于2021-01-21
得票数 0
回答已采纳
1
回答
将
嵌套的分区
拼图
文件导入大查询表
google-cloud-platform
、
google-bigquery
我在
云
存储
中有
拼图
文件,这些文件在year -> month ->day上嵌套分区。我希望这个文件被摄取到Big query表中。我该怎么做呢?我是GCP的新手。 提前感谢
浏览 16
提问于2020-06-17
得票数 0
1
回答
将
谷歌
BigQuery
表中的GCP
数据
加
载到
Snowflake
google-bigquery
、
snowflake-cloud-data-platform
我在
谷歌
BigQuery
表/视图中有
数据
,在
谷歌
云
存储
存储
桶中。我已经为这个
存储
桶创建了一个集成和外部阶段,并且可以在Snowflake中查看
存储
桶中的文件。现在如何
将
数据
从
谷歌
BigQuery
表加
载到
Snowflake表中?
浏览 13
提问于2020-05-02
得票数 0
1
回答
用Java编程
将
数据
从
Google Cloud Storage加
载到
Big Query的选项?
java
、
android
、
google-app-engine
、
google-bigquery
我一直在搜索
从
Google Cloud Storage以编程方式
将
数据
加
载到
Big Query中。我已经手动完成了这一点,将我的
谷歌
云
存储
备份到
BigQuery
表中,也能够在安卓中检索
数据
。我面临的唯一问题是,我想以编程方式
将
数据
上传到
BigQuery
表中。实现这一目标的各种方法是什么?
浏览 12
提问于2018-01-15
得票数 1
1
回答
将
SQL
数据
库转到
Bigquery
,或
将
SQL
数据
库转到GCS到
BigQuery
。
google-bigquery
、
google-cloud-storage
在always的“用Google平台进行
数据
工程”一书中,为了
将
数据
从
sql
数据
库加
载到
BigQuery
,作者总是先将
数据
从
sql加
载到
,然后将其作为暂存环境
使用
,然后才
将
数据
加
载到
BigQuery
通过GCS步骤而不是直接进入
BigQuery
有什么好处?在何种情况下,您将直接
将
数据<
浏览 8
提问于2022-08-16
得票数 0
回答已采纳
1
回答
将
数据
从
配置单元镶嵌表迁移到
BigQuery
时,配置单元字符串
数据
类型
将
转换为BQ字节
数据
类型
hive
、
google-bigquery
、
parquet
我正在尝试
将
数据
从
Hive迁移到
BigQuery
。蜂房表中的
数据
是
存储
在
拼图
文件format.Data类型的一列是字符串,我正在上传的文件背后的蜂房表
谷歌
云
存储
和创建图形用户界面的
BigQuery
内部表。导入表中列的
数据
类型正在转换为字节。但是当我导入CHAR of VARCHAR
数据
类型时,结果
数据
类型仅为字符串。 有没有人能帮我解释一下为什么
浏览 4
提问于2018-11-06
得票数 2
0
回答
Google
云
存储
/大查询成本估算
python
、
google-bigquery
、
google-cloud-platform
、
google-cloud-storage
我的程序所做的是
将
输入文件
从
亚马逊S3服务器加
载到
谷歌
的
云
存储
平台。然后,它
使用
这些导入的
数据
在Google中创建一个表,然后以
BigQuery
格式
将
创建的表导出回Cloud Storage。我的程序会将这个50 GB的
数据
文件导入到
云
存储
中,将其加
载到
BigQuery
中的一个表中,最后将其导出回
云
存储
浏览 5
提问于2017-06-14
得票数 2
回答已采纳
1
回答
由于权限问题,
BigQuery
加载作业失败
google-bigquery
我
使用
以下
将
数据
从
Google中的CSV文件上
载到
BigQuery
表: client =
bigquery
.Client()dataset_id = 'e' job_config =
bigquery
.LoadJobConfig()job_config
浏览 1
提问于2018-07-16
得票数 1
1
回答
Google
云
存储
加入多个csv文件
google-bigquery
、
google-cloud-storage
我
从
谷歌
BigQuery
导出了一个
数据
集到
谷歌
云
存储
,给定了文件的大小,
BigQuery
将
文件导出为99个csv文件。然而,现在我想要连接到我的GCP Bucket并
使用
Spark
执行一些分析,但我需要将所有99个文件连接到一个大的csv文件中来运行我的分析。 如何才能做到这一点?
浏览 14
提问于2019-03-12
得票数 7
回答已采纳
2
回答
2 TB+表的
Bigquery
红移迁移
google-bigquery
我正在尝试
将
Redshift迁移到
BigQuery
。表的大小是2TB+,我正在
使用
bigquery
红移
数据
传输服务。但是迁移已经运行了5个多小时。还可以看到在Redshift端执行的查询
将
数据
卸
载到
50MB的区块中。由于无法在红移传输作业中配置块大小参数。
将
2TB的
数据
从
redshfit传输到
BigQuery
需要这么多时间,或者可以做一些事情来改进这项工作。 有一些像雪花一样的系统
浏览 39
提问于2019-07-22
得票数 0
3
回答
Airflow -
将
镶木地板桌子加
载到
BigQuery
中
google-bigquery
、
google-cloud-storage
、
airflow
、
parquet
我正在尝试
使用
Apache Airflow GoogleCloudStorageToBigQueryOperator
将
谷歌
云
存储
中的
拼图
文件加
载到
BigQuery
中。export_transactions_parquet_to_bq", source_objects=["
bigquery
WR
浏览 1
提问于2019-10-15
得票数 1
1
回答
用于
BigQuery
的
云
存储
区域
google-cloud-platform
、
google-cloud-storage
我想设置
谷歌
云
存储
桶的访问和
使用
日志。该桶属于多区域
存储
级别和欧洲联盟的位置。桶位置对于访问和
存储
、日志记录以及
从
额外费用的角度
将
数据
加
浏览 0
提问于2017-01-29
得票数 1
回答已采纳
1
回答
如何在第三方
BigQuery
中进行请求,并定期在
谷歌
API上加载结果?我应该
使用
哪些google服务?
google-cloud-platform
、
google-bigquery
、
data-integration
我需要从第三方应用程序接口获取
数据
,并在
谷歌
BigQuery
中摄取它。也许,我需要通过google服务实现这个过程的自动化,以便定期完成这个过程。我正在尝试
使用
Cloud Functions,但它需要一个触发器。我也读过关于App Engine的文章,但我相信不适合只有一个函数来发出拉取请求。另一个疑问是:我是否需要将
数据
加
载到
云
存储
中,或者是否可以直接将其加
载到
BigQuery
?我应该
使用
浏览 17
提问于2019-08-24
得票数 1
回答已采纳
2
回答
Bigquery
如何
使用
存储
在google云中的
数据
?
google-bigquery
、
google-cloud-platform
、
google-cloud-storage
Q1:当我们
使用
下面的命令创建
bigquery
表时,
数据
驻留在同一个
云
存储
中?source_format=CSV 'market.cust$20170101' \Q2:假设我的
数据
主管是market.cust \ custid:string,grp:integer,odate:st
浏览 3
提问于2017-10-05
得票数 0
回答已采纳
2
回答
将
数据
从
Google
BigQuery
加
载到
Spark
(在
数据
库上)
python
、
google-app-engine
、
apache-spark
、
google-bigquery
、
pyspark
我想从 (on )
从
加载
数据
。我注意到Databricks提供了很多对亚马逊S3的支持,但对
谷歌
却没有提供支持。
从
Google
BigQuery
将
数据
加
载到
Spark
(在
数据
库上)的最佳方法是什么?会允许我这样做吗?还是只对托管在Google
存储
上的文件有效?
浏览 13
提问于2016-04-05
得票数 2
回答已采纳
7
回答
将
数据
从
导出到亚马逊S3
amazon-s3
、
google-bigquery
、
google-cloud-storage
我希望
将
数据
从
BigQuery
中的表传输到Redshift中的另一个表中。我计划的
数据
流如下:我知道
谷歌
云
存储
传输服务,但我不确定它是否能帮助我。来自Google文档: 此页面描述
云
存储
传输服务,您可以
使用<
浏览 13
提问于2016-09-05
得票数 41
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
谷歌推出Bigtable联邦查询,实现零ETL数据分析
DB-Engines 公布 2023 年度数据库:PostgreSQL
数据湖和SQL并不矛盾
开源PostgreSQL第四次成为年度数据库
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券