问上传到Hbase后数据大小减小
EN

Stack Overflow用户

提问于 2021-06-23 18:04:27

回答 1查看 25关注 0票数 0

当文件作为记录从linux机器上传到Hbase表时，我们观察到数据大小的减少(文件系统上为10 GB，Hbase表中为6-8 GB )。在hbase表上没有使用压缩方法，主要压缩也被禁用。找不到原因？？

发布于 2021-06-24 16:48:51

这取决于记录在Linux机器上的存储方式。如果它们是JSON，则每个键与每个值一起存储，这可能会大量增加文件大小。HBase以一种优化得多的列格式存储数据，这种格式丢弃了键。

即使你没有使用JSON，也没有启用压缩，HBase仍然会利用优化来减小文件大小。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/68097709

复制

相似问题

问上传到Hbase后数据大小减小EN