腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
BigQuery
表
加载
的
avro
模式推断
google-bigquery
、
google-cloud-storage
我正在使用java,试图将
avro
文件
中
的
数据加载到
BigQuery
中
。
创建
外部
表
时
,
BigQuery
会自动从.
avro
文件
中
检测架构。在为要加载
的
数据
创建
常规
BigQuery
表
时
,是否有一种方法
在
GCS
中指定模式/数据文件? 先谢谢你
浏览 1
提问于2018-08-23
得票数 0
回答已采纳
1
回答
创建
由一个/多个列分区
的
BigQuery
外部
表
google-bigquery
、
google-cloud-storage
我正在将一个java应用程序从Hadoop/Hive移植到Google /
BigQuery
。应用程序将
avro
文件写入hdfs,然后
在
文件之上
创建
一个/多个分区
的
Hive
外部
表
。我们现在处理hive
的
方式是生成ddl,然后使用rest调用执行它。 我
在
BigQuery
docs
中
找不到对
创建
外部
表
的
浏览 0
提问于2018-08-17
得票数 0
回答已采纳
1
回答
在
BigQuery
中
创建
外部
分区
表
时
,它说:不允许为STORAGE_FORMAT_
AVRO
指定架构
google-bigquery
我遵循google文档
中
的
指南
创建
外部
分区
表
,即:从
GCS
中选择文件: gs://my_bucket/data/ymd=20200703/*源数据分区,URI前缀:gs://my_bucket/ Data /但是,当我单击create
浏览 0
提问于2020-07-08
得票数 0
回答已采纳
1
回答
大型
bigquery
加载作业
的
最可靠
格式
google-bigquery
我有一个100 GB
的
表
,我正试图加载到google
bigquery
中
。它在
GCS
上
存储为一个100
GCS
的
avro
文件。当前,我
的
bq load作业失败,并显示一条无用
的
错误消息: UDF worker timed out during execution.; Unexpected abort triggered forworker
avro
-worker-156907: r
浏览 0
提问于2019-04-02
得票数 3
2
回答
以
AVRO
格式
在
GCS
上
的
BigQuery
中
创建
外部
表
时
的
大小
问题
google-cloud-platform
、
google-bigquery
、
avro
我正尝试
在
BigQuery
中
创建
一个
外部
表
,但在执行此操作
时
遇到以下异常: Error while reading table: nginx_ext_table, error message: Total
Avro
data size exceeds max allowed size.
BigQuery
中
的
表
/数据集
大小
有限制吗? 如有任何帮助,我们将非常感
浏览 22
提问于2019-02-19
得票数 1
2
回答
如何快速将数据从Google
bigquery
迁移到Snowflake?
google-bigquery
、
snowflake-cloud-data-platform
我刚刚在一个云数据库项目中工作,涉及一些大数据处理,需要快速地将数据直接从
bigquery
迁移到snowflake。我在想,是否有任何直接
的
方法可以将数据从
bigquery
推送到snowflake,而不需要任何中间存储。 请让我知道有一个实用程序或api或任何其他方式,
bigquery
提供推送数据到雪花。感谢你
的
帮助。
浏览 22
提问于2020-05-15
得票数 2
1
回答
创建
外部
表
的
BigQuery
Node.js接口
node.js
、
google-bigquery
、
google-cloud-storage
、
google-cloud-platform
、
google-cloud-functions
我正在尝试使用node.js应用程序接口从谷歌云函数
创建
一个
外部
表
。该函数将从
GCS
存储桶
的
变化
中
触发。我可以
创建
本机
表
,但不能
创建
外部
表
。在用于导入
的
node.js api
中
,configuration.load元数据没有将其指定为
外部
表
的
设置。到目前为止,这是我
创建
本机
表
浏览 1
提问于2017-03-21
得票数 1
1
回答
Bigquery
导出拆分为多个文件和一些空文件
json
、
google-bigquery
、
export
、
external-tables
我试图使用
bigquery
导出功能以json
格式
将数据推送到
GCS
。
在
流程结束
时
,为了验证
GCS
文件中导出
的
记录
的
计数,我正在
创建
一个
外部
表
,其中包含自动模式检测,
以
获取导出
的
GCS
文件
中
的
记录计数。 这适用于单个导出
的
文件。但是对于
大小
大于1gb
的
浏览 3
提问于2020-07-15
得票数 3
1
回答
如何使用气流将
bigquery
导出到bigtable?图式
问题
google-bigquery
、
dataflow
、
google-cloud-bigtable
、
airflow
我使用气流将
BigQuery
行提取到
的
Avro
格式
。我想在bigtable中使用row_key列表示行键,对于特定列家族
中
的
列使用rest列,比如bigtable
中
的
my_cf。但是,
在
使用数据流将
avro
文件加载到bigtable
时
,我收到了错误消息。: Bigtable
表
必须存在,并且具有与
Avro
文件中导出
的
列族相同
的
列
浏览 9
提问于2021-08-05
得票数 1
回答已采纳
1
回答
分区
BigQuery
表
,从
AVRO
加载
google-bigquery
、
avro
、
partitioning
我有一个
bigquery
表
,它
的
数据是从
GCS
上
的
AVRO
文件加载
的
。这不是
外部
表
。谢谢
浏览 1
提问于2020-03-30
得票数 1
1
回答
将mysql结果输入
BigQuery
的
最快方法
mysql
、
google-bigquery
我有一个104行
的
mysql
表
。使用
的
方法,它几乎需要三个小时,成本为5美元。 查询或复制mysql
表
并将其放入BQ
的
最快方法是什么?例如,是否有一种方法可以将mysql数据库(不是GCP
上
的
数据库)直接流到
GCS
上
的
csv文件
中
,然后从BQ加载csv文件?我们注意到是相当快
的
。
以
最快
的
方式将来自
外部
mysql
表</em
浏览 3
提问于2017-09-30
得票数 1
回答已采纳
2
回答
从
外部
表
读取与
在
Bigquery
中加载和读取数据
google-cloud-platform
、
google-bigquery
我需要从
GCS
获取数据(csv
格式
)到
Bigquery
,然后对其执行ETL
以
生成结果。csv
的
格式
可能不是固定
的
,可能会随着每个文件而微妙地改变。
创建
临时
外部
表
以
直接从
GCS
读取数据然后进行处理是更好,还是将数据加载到
bigquery
中
的
临时
表
中
然后从中进行处理会更好。我正在尝试理解
在
浏览 1
提问于2019-12-05
得票数 0
3
回答
与
BigQuery
兼容
的
Spark
AVRO
apache-spark
、
hive
、
google-bigquery
、
avro
我正在尝试
在
Hive
中
创建
一个
外部
表
,并在
BigQuery
中
创建
另一个
表
,使用与Spark编写
的
Avro
格式
存储
在
Google Storage
中
的
相同数据。我使用
的
是带有Spark 2.2.0、Spark-
avro
4.0.0和Hive 2.1.1
的
Dataproc集群 <e
浏览 30
提问于2017-12-18
得票数 1
1
回答
Avro
历元日期时间到bq时间戳
google-bigquery
、
avro
我希望将存储
在
GCS
中
的
Avro
文件
中
的
数据加载到大型查询
表
中
。
avro
中
的
两个字段具有datetimc。 我有两个字段
的
Avro
文件,其中一个字段具有长类型
的
Epoch时间值。对于该字段,我希望
在
使用命令行工具或控制台将
Avro
文件数据加载到
Bigquery
表</e
浏览 3
提问于2021-02-23
得票数 1
回答已采纳
2
回答
BigQuery
中
不同文件
格式
加载
的
比较
google-cloud-platform
、
google-bigquery
我们目前通过csv或直接通过流式API将大部分数据加载到
BigQuery
中
。然而,我想知道是否有可用
的
基准(或者Google工程师可以
在
答案
中
告诉我)加载不同
格式
的
效率如何比较。例如,如果我们有相同
的
100行数据,
BigQuery
是否显示与加载它有任何性能差异: 我相信其中一个答案将是“为什么你不测试它”,但我们希望,
在
架构转换器或重写我们
的</e
浏览 1
提问于2018-03-14
得票数 1
回答已采纳
1
回答
谷歌云数据流如何使用apache从
BigQuery
读取?
google-bigquery
、
google-cloud-dataflow
、
apache-beam
结果在工人之间是如何区分
的
?是一个带有查询结果
的
表
创建
,工作人员从其中读取页面,或者每个工作人员运行该查询并读取不同
的
页面或.多么?
浏览 0
提问于2018-11-06
得票数 0
回答已采纳
3
回答
如何在
BigQuery
中
备份数据集?
google-bigquery
、
backup
我们希望
创建
BigQuery
数据集
的
备份副本,以防
表
被意外删除,因为它只是可恢复
的
。 是否有办法延长恢复期
的
持续时间?如果没有,我们如何在
BigQuery
中
创建
保留期为30天
的
数据集
的
备份?
浏览 5
提问于2018-11-21
得票数 2
1
回答
卡夫卡到
BigQuery
,使用信息
的
最佳方式
apache-kafka
、
google-bigquery
、
google-cloud-dataflow
、
google-cloud-pubsub
我需要将消息接收到我
的
BigQuery
表
,我想知道使用这些消息
的
最佳方式是什么。我
在
AWS
的
Kafka服务器会生成
AVRO
消息,根据我所看到
的
,Dataflow需要接收JSON
格式
的
消息。因此,我搜索并找到了一篇文章,解释了如何向PubSub接收消息,但在PubSub
上
,我只看到在这种体系结构
中
,他们
在
GCP
上
创建
了一个Kafk
浏览 1
提问于2021-04-27
得票数 3
回答已采纳
1
回答
云Dataproc使用
BigQuery
连接器读取
BigQuery
视图
google-bigquery
、
google-cloud-dataproc
是否有可能让Cloud使用
BigQuery
连接器读取
BigQuery
视图?另外,对于用户来说,比如在Apache ( Dataproc )
中
运行了一些工作负载,
在
相同
的
数据
上
运行一些工作负载(
BigQuery
)-- =>是否更好地将数据保存在(
GCS
)
中
,作为
avro
编码
格式
(或),是否最好仅以
BigQuery
格式
保存这些数据,如果可以使用Cloud使用
浏览 0
提问于2019-02-01
得票数 0
回答已采纳
1
回答
将以秒为单位
的
unix时间戳从
Avro
导入到
Bigquery
中正确
的
时间戳
google-bigquery
、
avro
我想将以
AVRO
格式
存储
的
数据从
GCS
导入到
Bigquery
。源时间戳是Unix
格式
的
秒精度(例如: 1572534049),但是BQ要求它必须是毫秒或微秒精度才能使用逻辑类型并将其转换为正确
的
时间戳(我目前得到
的
值是1970年-XX-XX而不是2021年-XX-XX我知道我
的
问题
类似于下面的帖子: 但是,我不能将
AVRO
文件
中
的
列乘以1000,
浏览 22
提问于2021-02-22
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深入理解Kafka Connect:转换器和序列化
Impala Schema 设计原则
如何将kafka中的数据快速导入Hadoop?
过去一年,Spotify最大一次数据流优化实践
数据湖和SQL并不矛盾
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券