如何在使用TEZ向hive ORC表插入数据时创建小文件
如何在使用TEZ向hive ORC表插入数据时创建小文件
提问于 2017-09-14 23:48:12
我已经尝试了几个选项，但我只看到配置设置将小文件合并为大文件，如下所示，但反之亦然。我希望创建大小为150kb的文件。
set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=128000;
set hive.merge.size.per.task=128000;回答 2
Stack Overflow用户
发布于 2017-09-15 11:03:58
您可以尝试设置ORC块大小hive.exec.orc.default.block.size。此外，要跳过小文件的合并，您需要禁用标志。set hive.merge.tezfiles=false;有关如何生成文件的更多信息，请参阅Hortonworks community thread link。
Stack Overflow用户
发布于 2018-07-24 07:54:56
尝试下面的设置，这些设置应该有助于保存小文件：
set hive.merge.tezfiles=true;
set hive.merge.smallfiles.avgsize=128000;
set hive.merge.size.per.task=128000;
set mapreduce.input.fileinputformat.split.minsize=100;
set mapreduce.input.fileinputformat.split.maxsize=128000;
set hive.exec.orc.default.block.size=128000;页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/46223457
复制相关文章
相似问题