我有一个云存储桶,大约有18个表的外部分区的蜂巢宴会厅。
对于大多数拼板文件,shell For循环构建外部表定义文件,然后调用'bq‘,并从这些defs生成数据集中的表。这个失败的未完成的表可以用'bq load‘的形式稍后被带到BQ中。我想知道这些工具之间的区别是什么,以及一个工具在使用一个工具或另一个工具时会产生什么影响。
发布于 2022-08-31 07:26:27
外部表从BigQuery本机存储区外部加载数据。有些特性是不可用的(分区、集群、长期存储、试运行/成本估算、.)而且通常比较慢。
而且,由于分区不可用,所以每次都要支付外部表的全部扫描。
BQLOAD通过在BigQuery存储中加载数据并利用BigQuery的全部功能来解决这一问题。
对于小型的、非持久性的(不需要历史记录)和经常更改文件,创建外部表是有意义的。
在性能、长期存储、效率方面,BigQuery本机表更好。
发布于 2022-08-31 21:25:17
https://stackoverflow.com/questions/73547512
复制相似问题