首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

MapReduce工作笔记——Streaming输出output压缩

提交job时指定如下参数:

代码语言:javascript
复制
-D mapred.output.compress=true \
-D mapred.output.compression.codec=[CODEC] \

其中[CODEC] 有如下几种:

代码语言:javascript
复制
# gz压缩:	
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec
# lzo压缩:	
-D mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec
# Bzip2压缩:	
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec
下一篇
举报
领券