腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
gzip
多个文件并重命名它们
files
、
gzip
我必须在一个目录中
gzip
多个文件并重命名它们。我不想把它们压缩到一个压缩文件中。即ABCDEPG01_20171120234905_59977ABCDEPG03_20171120234905_59979
浏览 0
提问于2018-11-15
得票数 1
回答已采纳
2
回答
如何使用多线程在python中解压多个gz文件?
python
、
linux
、
multithreading
、
gzip
我想将这些文件解压(
Gzip
)到相同的目录中,并删除现有的gz文件。目前我们正在手动进行解压,使用
gzip
-d <filename>解压需要更多时间。有没有办法可以通过创建python脚本或任何其他技术来
并行
解压缩这些文件。目前,这些文件位于
Linux
机器上。
浏览 1
提问于2015-12-24
得票数 9
2
回答
多cpu核心
gzip
一个大文件
linux
、
compression
、
gzip
、
cpu-cores
如何通过OpenVZ使用服务器中的所有cpu核心(有4个核心)
linux
Debian到gziping更快的一个大文件这用于在更多的split -b100 file.big中拆分大文件 这是用于多核心find /source -type f -print0 | xargs -0 -n 1 -P $CORES
gzip
--best的
gzip
命令。我不知道这是否是优化大文件
gzip
处理的最佳方法。
浏览 6
提问于2014-06-24
得票数 1
回答已采纳
1
回答
用于归档的tar.gz替代方案,能够快速显示归档内容
linux
、
gzip
、
command-line-interface
、
tar
通常,我在
linux
中使用tar &
gzip
(或 -因为它使用
并行
处理进行压缩)在命令行中创建数据归档。 但是,由于tar归档文件的顺序格式,列出此类归档文件的内容非常慢。要在
linux
中创建文件的gzipped压缩tar归档,有什么替代方法?尤其是我正在寻找的东西,允许检索存档中的文件列表或文件树,类似于tar -但性能更高?
浏览 2
提问于2015-10-29
得票数 2
3
回答
Pickle+
gzip
-如何利用多核?
python
、
gzip
、
pickle
在开始工作之前,我使用简单的函数来恢复状态:def load(filename): """ return pickle.load(file) records_df有没有什么简单的方法来告诉
gzip
/pickle组合来
浏览 1
提问于2012-06-18
得票数 2
1
回答
更快地转换.gz压缩文件中的dos行结束
gzip
以下是我目前的做法: tmpfile=$(mktemp .XXXXXX) dos2unix $tmpfile
gzip
浏览 0
提问于2022-09-15
得票数 2
回答已采纳
1
回答
无末次函数循环的
并行
计算
python
、
locking
、
dask
、
dask-distributed
、
dask-delayed
我试图用脚本
并行
读取16个
gzip
文件的内容:import glob from dask.distributed importClient, LocalCluster def get_
gzip
_delayed(
gzip
_file): with
gzip
.open(
gzip
_file) as f:read_files = glob.glob("*.txt.g
浏览 12
提问于2022-01-29
得票数 0
回答已采纳
2
回答
将多个文件从bz2转换为gz格式
bash
dz33 dcistat 1.8G Aug 22 11:38 DRR091553_1.fastq.bz2 575 对于单个文件,我可能可以执行bzcat a.bz2 |
gzip
-c >a.gz,但我想知道如何使用bash/
linux
中的一个命令或循环来完全转换它们。
浏览 3
提问于2017-08-25
得票数 5
回答已采纳
2
回答
压缩编解码器在Azure数据湖中的影响
azure
、
hadoop
、
azure-data-lake
很清楚,而且有很好的文档说明,拆分zip文件的能力对Hadoop中作业的性能和
并行
性有很大的影响。谢谢
浏览 3
提问于2017-06-22
得票数 0
回答已采纳
1
回答
如何在gnu中
并行
运行时压缩tee输出?
gzip
、
gnu-parallel
、
tee
假设我在
并行
执行的命令中运行tee。... | tee --
gzip
the_file | and_continue
浏览 12
提问于2019-03-26
得票数 1
回答已采纳
2
回答
Shellscript -
gzip
多个文件并运行所有
shell
、
unix
、
gzip
、
solaris
对于执行
gzip
多个文件并同时运行有任何建议吗?示例:
gzip
过程随着脚本一起运行,有什么建议吗?
浏览 3
提问于2013-10-30
得票数 0
7
回答
分别对每个文件执行
GZip
linux
、
bash
、
gzip
我们如何分别对每个文件进行
GZip
? 我不想把所有的文件都放在一个很大的tar中。
浏览 0
提问于2009-11-25
得票数 56
回答已采纳
2
回答
使用
gzip
slow进行备份
postgresql
、
backup
、
compression
我们目前正在Postgres中使用以下命令备份一些模式: pg_dump -h localhost -n test_schema mydb |
gzip
> /data1/backup/test_chema.dmp.gz
浏览 0
提问于2020-07-03
得票数 1
回答已采纳
1
回答
如何在多个核心上运行一个命令
bash
、
parallelism
、
multithreading
我有一个命令,我想运行在所有空闲的核心,以加快执行时间。具体来说,我正在运行我从这里下载的Pitman-Yor适配器-语法示例程序。我尝试将parallel -j "$(nproc)"作为指定的在这个答案中添加到命令之前Error in ./py-cfg/py-cfg-mp, argc = 29, optind = 27
浏览 0
提问于2022-02-03
得票数 2
2
回答
在Hadoop中读取BZip2文件
hadoop
、
gzip
、
mapper
、
bzip2
我听说在Hadoop中我们可以使用多个映射器
并行
读取一个bzip2文件的不同部分,以提高性能。但是我在搜索后找不到相关的样本。如果有人能给我指出相关的代码片段,我将不胜感激。谢谢。顺便说一句: is
gzip
具有相同的特性(多个映射器
并行
处理同一个
gzip
文件的不同部分)。
浏览 0
提问于2012-12-26
得票数 2
回答已采纳
1
回答
使用gunzip计算一个字符串的crc32代码
linux
、
crc32
、
gunzip
字符串:测试字符串echo -n teststring |
gzip
-f > /tmp/filename && gunzip -lv /tmp/filename && rm -f /tmp/filenameecho -n teststring |
gzip
-f | gunzip -lv 我搜索了所有的枪支手册,并找到“列表选项报告大小为-1和crc作为
浏览 6
提问于2012-07-19
得票数 2
回答已采纳
1
回答
并行
化
GZip
文件处理火花
python
、
hadoop
、
apache-spark
、
gzip
、
pyspark
我有一个巨大的
GZip
文件列表,需要转换为Parquet。由于
GZip
的压缩特性,无法对一个文件进行
并行
化。这是一个重复的问题,但事实并非如此。我完全意识到Spark可以将它们作为RDD读入,而不必担心压缩,我的问题是如何
并行
地将这些文件转换为结构化Parquet文件。w
浏览 0
提问于2016-02-15
得票数 3
1
回答
如何动态地将所有文件从
gzip
转换为xz (并且是递归的)?
pipe
、
recursive
、
conversion
、
gzip
、
xz
如何使用单个命令并不将每个文件解压缩到磁盘,就可以将所有这些文件从
gzip
转换为xz?解压缩到磁盘的普通两行代码如下所示:find basedir/ -type f -name '*.dat' -exec xz {} \;对于单个文件,即时转换很简单(尽管这并不取代.gz文件):
gzip
-cd basedir&
浏览 0
提问于2016-09-08
得票数 7
3
回答
Java -
并行
化
Gzip
java
、
gzip
、
parallel-processing
我被指派在Java 7中
并行
化
GZip
,我不确定哪一个是可能的。 我尝试过使用GZIPOutputStream,但是似乎没有一种方法来隔离和
并行
平放(),也不能访问平减器来修改字典。我尝试使用启用包装的平减器和一个FilterOutputStream输出压缩的字节,但是我无法让它以
G
浏览 2
提问于2011-10-22
得票数 5
1
回答
Python多处理
并行
写入单个
gzip
compression
、
gzip
、
python-multiprocessing
我希望能够使用带锁的多进程从多个进程
并行
写入新的
gzip
,但输出gz文件的格式错误无效。如果我在不使用
gzip
的情况下打开脚本中的目标文件,那么这一切都能工作。我还看到像"“、"”和"“这样的实用工具可以
并行
化压缩,但我不认为它们适用于这个用例。-更新和工作代码: 在Mark的帮助下,我能够创建一个多处理脚
浏览 6
提问于2020-10-28
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
nginx添加gzip压缩
gzip解码问题
IIS开启Gzip压缩
探索HTTP传输中gzip压缩的秘密
分布式训练中数据并行远远不够,“模型并行+数据并行”才是王道
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券