问HAWQ表大小估计
EN

Stack Overflow用户

提问于 2016-11-25 18:02:49

回答 1查看 150关注 0票数 1

我有一个关于要加载到HAWQ中的表的存储大小计算/估计的问题？

我在HIVE中有一个30MB的表，我试图使用PXF将其加载到HAWQ中，例如: create table t2 table which as select * from hcatalog.default.afs_trvn_mktscn_population；

HAWQ中的表会占用369MB的存储空间吗？不管我有多少个HAWQ段，以及HAWQ DFS.replica因子或HDFS复制因子是什么？在我的情况下，即使有4个HAWQ段或1个HAWQ段，加载后表的大小也是369MB。

我可以理解最小的块大小是128MB，所以即使是30MB也会使用最小的128MB，但为什么> 300MB？

你能分享一些关于这方面的信息吗？

发布于 2016-11-29 00:28:04

您的Hive表可能存储为具有快速压缩的ORC，而您的HAWQ表甚至没有压缩。您应该在HAWQ表中使用以下内容：

with (appendonly=true, orientation=parquet, compresstype=snappy)

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/40802249

复制

相似问题

问HAWQ表大小估计EN