我有一个难以置信的大球。我会从档案馆里的几千个文件中提取几个文件。我在CentOS 6.10上运行GPFS 4.2.3。我从这个答案中看到,pigz在提取整个tar.ball方面很有用。提取整个焦油球是没有用的,因为它将占用太字节的空间。
我试过这样的方法:
$ pigz -dc ../test.tar.gz | tar xf test/analysis/something/dist.txt
tar: test/analysis/something/dist.txt: Cannot open: No such file or directory
tar: Error is not recove
我正在局域网上复制大型文件,而且我注意到,使用一个ssh管道,我可以获得大约10‘m/S的传输速度。然而,如果我在同一时间射出其中的四个,我总共可以得到大约40 in /S的传输速度。
所以我想分拆一个大文件。1GB)分成几个部分,并将每个部分单独输送,然后在另一边重新组装。在传输之前也需要进行tar/zip,而在另一边则需要解压缩。
我该怎么做?
我想使用来压缩大量的tar档案。
我在用cygwin。不幸的是,pigz并不是标准的cygwin包之一。
有人知道怎么把pigz安装在cygwin下面吗?
以下是我尝试过但没有成功的两种技巧:
1) 上的自述文件(或自述文件中的自述文件,如果您下载源)指出,您应该能够通过以下方式从源代码构建它
在此目录中键入"make“以构建"pigz”可执行文件。
当我在我的机器上这样做的时候,我会收到大量的警告
pigz.c:2950:20: warning: unknown conversion type character 'j' in format [-Wfo
我想弄清楚为什么下面的tar命令不起作用-
我试过以下两种版本-都不管用-
版本1
tar -c --use-compress-program=pigz -f /home/jhonst/data_lake/1m/UX.tar -C '/home/jhonst/data_lake/1m/*.UX.csv'
我看到的错误是
tar: Cowardly refusing to create an empty archive
Try 'tar --help' or 'tar --usage' for more information.
第2版
tar -
假设我在Bash中运行一个命令,如下所示:
ls -l | grep filename
如何将这两个命令的输出保存到变量中?换句话说,将"ls -l“和"grep文件名”输出到同一个变量?命令必须使用管道。
提前谢谢你!
combinedOutput = ""
ls -l
total 4
-rw-r--r-- 1 webmaster webmaster 0 Nov 16 20:34 a
-rw-r--r-- 1 webmaster webmaster 0 Nov 16 20:34 b
-rw-r--r-- 1 webmaster webmaster 0 No
我能够动态生成和流文本,但无法动态生成和流压缩文件。
from flask import Flask, request, Response,stream_with_context
import zlib
import gzip
app = Flask(__name__)
def generate_text():
for x in range(10000):
yield f"this is my line: {x}\n".encode()
@app.route('/stream_text')
def stream_text():