问Google云存储- Tez输出文件
EN

Stack Overflow用户

提问于 2015-03-16 03:40:37

回答 1查看 174关注 0票数 1

当我使用tez运行查询时，输出文件的数量非常大。我有大约4-5GB的数据，每个数据有46 MB或16 MB.我希望只有2-3个文件作为输出文件.

我的输出文件位置将是谷歌云存储。如何合并这些文件？

set mapred.reduce.tasks = 1;
set hive.merge.mapfiles = true; 
set hive.mergejob.maponly = true;
set hive.merge.mapredfiles=true;

我确实设置了这些参数。我确实写了insert覆盖查询来覆盖同一位置的数据。没用的。请帮帮忙。

回答已采纳

发布于 2015-03-16 21:43:47

我完成了这件事。早些时候，当我这么做的时候，它是地图唯一的作业。现在，我对查询做了一些修改，也使用了减缩器(添加了distribute )。如果我说“减速机的数目= 1”，它就能工作。但是它不适用于应该只适用于map作业的其他参数。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/29069316

复制

相似问题

问Google云存储- Tez输出文件EN