如何使用tar & pigz单独压缩子文件夹？

文章/答案/技术大牛

发布

1回答

压缩文件夹，但不压缩特定文件类型，而是将它们包括在gz文件中。

files、tar、compression、gzip

我使用tar和pigz压缩文件夹并保存备份。此文件夹的大小~250 GB或更多。这个文件夹有各种各样的内容，包括大量的文本文件和日志文件，ISO和压缩文件，在许多不同的子文件夹。完全压缩此文件夹大约需要1小时(或更多时间)。此刻，我在脚本中使用了这个。tar -cf - <data_folder> | pigz

浏览 0提问于2016-05-20得票数 2

回答已采纳

1回答

zip、tar

我想要将所有子文件夹分别压缩到tar.gz文件中？我该怎么做呢？

浏览 46提问于2021-06-24得票数 0

1回答

julia shell命令tar和pigz

shell、command、julia、pipeline、external

我想在julia中压缩一个文件夹： tar -cvf - "source" | pigz -k -9 > "source.tar.xz" 其中source是一个文件夹 我在julia身上试过了： run(pipeline(`tar -cvf - "2001_ A Space Odyssey"` , `pigz -k -9 \> "2001_ A Space Odyssey

浏览 34提问于2021-08-11得票数 1

3回答

从大型.tgz中高效删除文件(S)

tar、gzip

假设我有一个gzip压缩tar-ball compressedArchive.tgz (+100个文件，总计+5gb)。

浏览 0提问于2013-06-21得票数 15

回答已采纳

2回答

使用tar将整个linux系统备份到系统本身中挂载的分区

backup、tar

如果我使用以下命令备份整个Linux目录，有问题吗？基本上，我备份整个系统并将其保存在我的第二个分区上。

浏览 0提问于2022-05-23得票数 4

回答已采纳

1回答

需要备份的目录有数百个，我们希望将它们压缩到与目录同名的文件中。我可以很容易地做到这一点，但-我想利用我的工作站上的数百个核心。问题:使用-n -P args或GNU并行查找，如何在命名最终产品：origonalDirName.tar.bz2时使用尽可能多的内核，如何将目录压缩为tar/bzip？我使用了find同时绑定100个文件，而且速度非常快--所以这是解决问题的方法，尽管我不知道如何使每个文件名成为

浏览 0提问于2015-07-20得票数 13

3回答

焦油使用压缩程序在OSX上被破坏。

macos、tar

我通过自制在Macbook Air (OSX10.10.5)上安装了pigz，以获得更好的压缩/解压性能。为了压缩，我使用tar --use-compress-program=pigz -cf test.tgz test，它是可以的。但是要解压缩的命令，tar --use-compress-program=pigz -xf test.tgz输出错误：tar: Unrecognized archive for

浏览 6提问于2016-01-12得票数 3

回答已采纳

4回答

如何使用pigz解压

compression、tar、gunzip

我正在尝试使用pigz进行并行压缩和解压缩。我已经找到了一种使用以下命令并行压缩的方法：解压的等效命令是什么？

浏览 1提问于2013-02-20得票数 19

回答已采纳

3回答

如何统计一个tar.gz文件中的文件数(不解压)？

compression、gzip、tar

我有一个由pigz (并行gzip)创建的tar.gz文件。我想要在不解压的情况下计算压缩文件中的文件数。我使用以下命令：但是我得到了一个错误：tar: Skipping tonext header 是因为我用的是pigz而不是gzip吗？如果是，我现在如何计算它们？

浏览 2提问于2014-05-11得票数 17

2回答

使用tar、gzip和pigz进行递归压缩安全吗？

backup、tar、recursive、compression、gzip

如果我做了一个.tar.gz我可以安全地解压缩已经gzip的文件./myfiles/an_old_backup.tar.gz在./myfiles目录中通过tar -xvf mybackup.tar cd

浏览 0提问于2017-02-10得票数 0

回答已采纳

3回答

如何在焦油中使用Pigz

bash、tar

所以我在tar中使用了pigz这是可行的，但它并没有使用我所有的处理器，我想确保它是递归的(-r)并使用(-9压缩级别)。

浏览 7提问于2016-04-28得票数 41

回答已采纳

6回答

利用多核进行tar+gzip/bzip压缩/解压缩

gzip、tar、bzip2、bzip

我通常使用tar zcvf进行压缩，使用tar zxvf进行解压(出于习惯，我使用gzip )。我最近得到了一个带有超线程的四核CPU，所以我有8个逻辑核心，我注意到许多核心在压缩/解压缩期间都没有使用。有没有办法利用未使用的内核使其更快？

浏览 8提问于2012-09-07得票数 266

回答已采纳

1回答

如何在最短时间内读取1TB压缩文件

bash、grep、tar、zcat

我正试着读一个压缩文件。我正在使用命令tar tf abc.tar.xz来完成这个任务。因为文件的大小是1TB，所以花费了很多时间。我对bash脚本不太熟悉。我还有其他命令，如zcat 3532642.tar.gz | more、tar tf 3532642.tar.xz |grep --regex="folder1/folder2/folder3/folder4/"和 tar tvf 353

浏览 3提问于2016-06-20得票数 0

回答已采纳

1回答

当焦油和裂解的时候使用所有的核心

linux、multithreading、split、compression、tar

我试图使tar命令使用所有核心(8)，当我将其打包到这样的包中时，它就可以工作了：tar -I pigz -cf packed.tar.gz folder/。它正常工作，它使用所有的核心。但是当我需要打包成乘法文件时，我不能让它使用所有的核心，这是我的命令：tar cvzf - folder/ | split --bytes=4GB - packed.tar.gz。我如何使这个命令使用</

浏览 5提问于2017-11-11得票数 0

回答已采纳

1回答

如何在tar期间限制内存使用

linux、tar

我需要压缩(或者压缩)超过270万个文件。(150)我试着根据文件创建日期和'find‘分批操作(多个tar文件就可以了)，但是'find’占用了更多的内存。

浏览 0提问于2015-08-19得票数 2

1回答

创建运行Ubuntu的备份映像？

ubuntu、backup、images

在Windows上，有一些软件，如Acronis True Image，可以为当前运行的系统创建完整的备份映像。在Ubuntu上有其他选择吗？仍然支持/维持(例如不支持系统)谢谢你对此的任何暗示！

浏览 0提问于2018-06-17得票数 1

2回答

提取tar.gz的最快方法

linux、tar、gzip

是否有比tar.gz更快地提取tar -zxvf filenamehere文件的方法？我们有很大的文件，并试图优化操作。

浏览 0提问于2011-05-18得票数 60

回答已采纳

1回答

用于大文件夹的带有拆分的并行tar

bash、parallel-processing、split、gnu、tar

我有一个非常大的文件夹，我想把它们分成几个，以便存档：dir=$1size=32000m tar -czf /dev/stdout ${dir} | split -a 5 -d -b $size - ${name}

浏览 8提问于2013-09-01得票数 3

回答已采纳

2回答

指定使用lbzip2的tar中使用的核心数量

parallel-processing、compression

通常，我使用tar和bzip2的组合来存储目录。但是，有些非常大，所以我测试了几个允许并行处理的压缩算法。以下是我到目前为止尝试过的两个选项： tar cf dst.tar.bz2 src --use-compress-program=lbzip2 tar c src | pigz > dst.tar.gzlbzip2算法不仅速度更快，而且压缩比更好。但是，pigz允许我指定它使用的处理器数

浏览 33提问于2019-09-13得票数 1

回答已采纳

1回答

如何优化pigz？

linux、compression、redhat、tar、large-files

我正在使用pigz压缩一个大目录，它接近50 up，我有一个ec2实例，使用RedHat，实例类型是m4.xlarge，它有4个CPU，我希望压缩会占用我所有的CPU，并具有更好的性能。我使用的命令是：但是当压缩程序运行时，我使用mpstat -P ALL检查我的CPU状态，结果显示其他3个CPU有很多%空闲，

浏览 2提问于2016-12-13得票数 1

点击加载更多

压缩文件夹，但不压缩特定文件类型，而是将它们包括在gz文件中。