我有几个(27)个巨大的(每个几GB ) bz2归档文件,我需要将它们合并到一个bz2归档文件中。对我来说,解压缩它们,然后从刚刚解压的文件创建一个新的归档文件是不可能的,因为压缩后,所有27个文件加起来大约有100 6TB,而解压后大约是5-6TB (是的,这就是TERAbytes的笑声)。
这可以用某种脚本来完成吗,或者甚至有另一种压缩格式可以(更容易)做到这一点?
发布于 2011-11-09 02:27:27
如果您愿意消耗几天的CPU,这里有一个使用现代UNIX(R)操作系统的神奇管道工具的解决方案:
bzip2 -dc file*.bz2 | bzip2 >resulting_file.bz2..。实际上,获取lbzip2 version 2.0,并在多核上执行相同的操作,除了使用lbzip2:
lbzip2 -dc file*.bz2 | lbzip2 >resulting_file.bz2发布于 2011-11-02 01:13:44
您可以简单地将多个bz2文件连接到单个bz2文件中,如下所示:
$ cat file1.bz2 file2.bz2 file3.bz2 >resulting_file.bz2
bzip2和lbzip2等其他实用程序将能够按预期对结果文件进行解压缩。
发布于 2011-08-05 02:01:23
您应该反转这个问题-您不应该尝试解压缩文件,然后再重新压缩文件,只需对所有单独的文件进行tar归档- tar是单独文件的理想容器。
tar cf tarofbzfiles.tar *.bz2https://stackoverflow.com/questions/6946246
复制相似问题