并行BZip2压缩
并行BZip2压缩
提问于 2012-12-26 21:12:37
我使用Apache共用压缩 for Java将多个日志文件压缩为单个 tar.bz2归档文件。
但是，压缩需要很长时间(> 12小时)，因为我每天压缩大约20 to的文件。
当这个库压缩单线程文件时，我想知道是否有一种方法可以实现这个多线程。
我找到了许多解决方案(命令行、pbzip2或一些C++库)，但我在java中找到的只是这篇博客文章：
https://plus.google.com/117421466255362255970/posts/3jfKVu325zh
我似乎不能在我的Java应用程序中使用它。
外面有什么东西吗？你有什么推荐的？或者还有另一种类似于bzip2的类似压缩速率的更快的解决方案？
回答 3
Stack Overflow用户
回答已采纳
发布于 2012-12-26 21:15:17
由于您有多个文件，所以可以在不同的线程中压缩每个文件。由于您的进程是CPU绑定的，我建议创建一个固定大小的线程池(即ExecutorService )，并为每个文件添加一个要压缩的任务。
注意:如果pbzip2做了您想做的事情，我会从Java中调用它。您可能会发现，对于一个线程来说，它都是快速的，因为我在Java中看到的BZIP2库是本地实现的(与JAR、ZIP和GZIP不同)
Stack Overflow用户
发布于 2012-12-26 22:16:55
如果Java中的bzip2并行实现没有退出，则可以在Java应用程序中调用pbzip2。
Stack Overflow用户
发布于 2014-08-19 07:44:24
尝试at4j实现BZip2OutputStream。根据手册，它支持并行压缩。http://at4j.sourceforge.net/releases/current/pg/ch04.xhtml
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/14046319
复制相关文章
相似问题
腾讯云开发者
