提交job时指定如下参数:
-D mapred.output.compress=true \
-D mapred.output.compression.codec=[CODEC] \
其中[CODEC]
有如下几种:
# gz压缩:
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec
# lzo压缩:
-D mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec
# Bzip2压缩:
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec