首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >BigQuery:“bq”和“bq”的区别

BigQuery:“bq”和“bq”的区别
EN

Stack Overflow用户
提问于 2022-08-30 19:21:35
回答 2查看 70关注 0票数 0

我有一个云存储桶,大约有18个表的外部分区的蜂巢宴会厅。

对于大多数拼板文件,shell For循环构建外部表定义文件,然后调用'bq‘,并从这些defs生成数据集中的表。这个失败的未完成的表可以用'bq load‘的形式稍后被带到BQ中。我想知道这些工具之间的区别是什么,以及一个工具在使用一个工具或另一个工具时会产生什么影响。

EN

回答 2

Stack Overflow用户

发布于 2022-08-31 07:26:27

外部表从BigQuery本机存储区外部加载数据。有些特性是不可用的(分区、集群、长期存储、试运行/成本估算、.)而且通常比较慢。

而且,由于分区不可用,所以每次都要支付外部表的全部扫描。

BQLOAD通过在BigQuery存储中加载数据并利用BigQuery的全部功能来解决这一问题。

对于小型的、非持久性的(不需要历史记录)和经常更改文件,创建外部表是有意义的。

在性能、长期存储、效率方面,BigQuery本机表更好。

票数 0
EN

Stack Overflow用户

发布于 2022-08-31 21:25:17

我只想从上面的答案中添加一些更多的信息。

BigQuery是一个无服务器的数据仓库,允许您管理和存储可伸缩的数据量。bq mkbq load是BQ命令行工具的一部分。

在将数据加载到BigQuery之前,需要先创建数据集。为了能够创建数据集,您将使用bq mk。由于BigQuery是表的集合,所以这些表被分组为数据集。要将数据加载到BigQuery表中,您将使用bq负荷命令。

注意:您必须首先在Google中创建一个存储桶,在那里您将上传您的CSV file。之后,您可以使用BigQuery将数据加载到bq load中。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73547512

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档