问多芯压缩工具

EN

关键词是平行的。在查找了所有并行的压缩工具之后，我发现了以下内容：

PXZ -并行XZ是一种压缩实用程序，它利用同时在多核和处理器上运行一个输入文件的不同部分的LZMA压缩。它的主要目标是利用所有资源来加快压缩时间，同时尽可能减少对压缩比的影响。

sudo apt-get install pxz

PLZIP是一种基于LZMA算法的无损数据压缩器，具有非常安全的完整性检查和类似于gzip或bzip2的用户界面。Lzip解压缩的速度几乎和gzip一样快，比bzip2更好地压缩，这使得它非常适合软件分发和数据存档。

Plzip是使用lzip文件格式的大规模并行(多线程)版本的lzip；由plzip生成的文件与lzip完全兼容。

Plzip旨在更快地压缩/解压缩多处理器机器上的大文件，这使得它特别适合于大软件文件的分发和大规模数据存档。对于足够大的文件，plzip可以使用数百个处理器。

sudo apt-get install plzip

pigz是GZip并行实现的代表，它是gzip的完全功能替代品，在压缩数据时利用了多个处理器和多个核。

sudo apt-get install pigz

PBZIP2 - pbzip2是bzip2块排序文件压缩器的并行实现，它使用线程并在SMP机器上实现近乎线性的加速比。此版本的输出与bzip2 v1.0.2完全兼容(即:使用pbzip2压缩的任何内容都可以用bzip2解压缩)。

sudo apt-get install pbzip2

LRZIP -一个多线程压缩程序，可以实现非常高的压缩比和速度时，使用大文件。它采用zpaq和lzma的组合压缩算法进行最大压缩，采用lzo算法实现最大速度，并对rzip进行长距离冗余处理。它被设计成随着RAM大小的增加而缩放，进一步提高压缩效果。无论是大小优化还是速度优化，都可以提供比lzma更好的压缩，或者比gzip更好的速度，但使用bzip2大小的压缩级别。

sudo apt-get install lrzip

一个小型压缩基准(使用创建的测试Oli )：

原始文件大小- 100 MB

PBZIP2 - 101 MB (大1%)

PXZ - 101 MB (大1%)

PLZIP - 102 MB (大1%)

LRZIP - 101 MB (大1%)

PIGZ - 101 MB (大1%)

小型压缩基准(使用文本文件)：

原始文件大小- 70 KB文本文件

PBZIP2 - 16.1 KB (23%)

PXZ - 15.4 KB (22%)

PLZIP - 15.5 KB (22.1%)

LRZIP - 15.3 KB (21.8%)

PIGZ - 17.4 KB (24.8%)

更新：

XZ Utils从v5.2.0开始就支持多线程压缩，它最初被错误地描述为多线程解压缩。

例如：tar -cf - source | xz --threads=0 > destination.tar.xz

此外，上面的很好的总结(谢谢Luis)，现在人们可能也想考虑PIXZ，根据它的自述(来源：https://github.com/vasi/pixz --我自己还没有验证声明)比PXZ有一些优势。

[Compared to PIXZ, PXZ has these advantages and disadvantages:]

    * Simpler code
    * Uses OpenMP instead of pthreads
    * Uses streams instead of blocks, not indexable
    * Uses temp files and doesn't combine them until the whole file is compressed, high disk/memory usage

换句话说，PIXZ应该具有更高的内存和磁盘效率，并且有一个可选的索引功能，可以加快压缩tar文件的各个组件的解压缩速度。