Sqoop 作业的输出可以直接压缩。Sqoop 作业是一个MapReduce作业, 因此通过设置MapReduce压缩编解码器, 可以得到 Sqoop 的输出压缩。
只需将参数放到 Sqoop 命令字符串中即可。
--compression-codec <compression codec>
snappy压缩
--compression-codec org.apache.hadoop.io.compress.SnappyCodec
Gzip压缩
--compression-codec org.apache.hadoop.io.compress.GzipCodec
Bzip压缩
--compression-codec org.apache.hadoop.io.compress.BZip2Codec
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。