开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

MapReduce工作笔记

共 5 篇文章

1

MapReduce工作笔记——Streaming输出output压缩

2

MapReduce工作笔记——Streaming输入input解压

3

MapReduce工作笔记——Hadoop Streaming多目录/多路输入

4

MapReduce工作笔记——Streaming Job中jar包上传与使用指定

5

MapReduce工作笔记——Hadoop MR Streaming通用模板

清单首页MapReduce工作笔记文章详情

清单「MapReduce工作笔记」 01/05

MapReduce工作笔记——Streaming输出output压缩

提交job时指定如下参数：

-D mapred.output.compress=true \
-D mapred.output.compression.codec=[CODEC] \

其中[CODEC] 有如下几种：

# gz压缩:	
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec
# lzo压缩：	
-D mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec
# Bzip2压缩：	
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec

举报