linux 压缩多线程 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

寻找具有加密和良好压缩算法多线程的linux备份工具

linux、backup、compression、multithreading、open-source

我正在寻找一个linux备份工具来升级我的备份策略。今天，我每天都在Linux服务器上进行完全备份(Ubuntu20.04)。我更喜欢直接备份VM中的数据，并将数据发送到另一个站点(而不是VMware vSphere级别)，以不依赖于虚拟化系统(以便能够使用Linux和LAMP&Co工具从任何类型的服务器重新启动)。压缩后，它在4小时内减少到100 to，这要归功于lbzip2及其多线程结构。开始每天晚上的空间和时间太多了。我想在周末做完整的备份，在平日晚上只做增量备份。我尝试了Dar和双重性，

浏览 0提问于2022-08-05得票数 1

1回答

在Linux中具有良好完整性检查的通用CLI压缩程序

linux、archiving、file-compression

正如标题说的那样，我正在寻找一个好的，定义为最好的，通用的命令行压缩程序，在Linux中进行良好的完整性检查。M-盘S已使用硬件的详细信息内置的<#>integrity检查越好，我的archiving就越好最好是packaged表单，在大多数发行版中，or更好地安装在默认情况下应该是多线程，因为我有8个核心CPU

浏览 0提问于2018-06-27得票数 1

回答已采纳

2回答

使用多个核进行7-压缩提取？

7z、p7zip

在Linux中有什么方法可以让7z x利用多个内核并加快速度呢？另外，一个人如何运行7-拉链gui在流变/中心7？

浏览 0提问于2022-02-15得票数 2

5回答

C#中的多线程压缩

c#、multithreading、compression

在.net中是否有一个对流进行多线程压缩的库？我正在考虑类似于内置System.IO.GZipStream的东西，但是使用多线程来执行工作(从而利用所有的cpu核心)。我知道，例如使用多线程的7-zip压缩，但他们发布的C# SDK似乎不能做到这一点。

浏览 2提问于2009-07-31得票数 7

回答已采纳

1回答

为什么Scylla不使用cgroup blkio作为I/O调度程序？

io、scheduler、scylla

最近我发现了一个article。我在文章中注意到，scylla中的I/O调度器对I/O使用了更容易的流量控制，只考虑了task_quota，iops和io_bandwidth任务。据我所知，cgroup、blkio也使用这三个因素作为I/O调度器。我很困惑，scylla I/O调度器和cgroup blkio有什么不同？为什么scylla没有直接使用cgroup blkio？

浏览 20提问于2019-06-22得票数 2

回答已采纳

2回答

.Net多线程解压

.net、compression

我正在使用DotNetZip库将数据流压缩到Zip文件中以进行存储。DotNetZip能够压缩多线程，而且速度很快。这通常是ZIP格式的缺点吗？在.Net世界里有没有多线程解压缩函数？(使用Stream接口？) 如果不是..。有没有技术上的原因导致这个不能实现？附加信息:正在压缩的数据是SQL Server数据库备份，大小约为30 Gb，从SQL Server备份命令(VDI)通过ZipOutputStream流式传输到FileStream。

浏览 0提问于2011-08-18得票数 2

回答已采纳

3回答

具有所有内核的Gzip

linux、bash、gzip

我有一组服务器，每个服务器都有一堆可以用gzipped压缩的文件。所有的服务器都有不同数量的核心。如何编写bash脚本为每个内核启动gzip，并确保gzip没有压缩相同的文件？

浏览 0提问于2010-12-03得票数 50

回答已采纳

2回答

有没有支持现代多线程的任务-- 7zip，winrar等？

deployment、ant、zip、7zip

谁能给我介绍一个成熟的Ant任务，它支持多线程压缩/解压缩，可以投入生产使用？我找到了，但它看起来被废弃了，而且它不支持多线程。

浏览 0提问于2009-03-06得票数 2

回答已采纳

1回答

如何限制Uploader服务器的内存效率

c++、memory-management、server、out-of-memory、scalability

我有一个定制的多线程http服务器(在c++中)：3)并将zip文件上载到预先配置的源文件/内容服务器(例如，在将100个段存档到zip文件之后) 问题是，每个压缩文件大约有100 MB，并且有大量的客户端帖子(每秒150条)，上传这些压缩文件会淹没vsize/rss和崩溃(因为上传需要将zip文件读取到内存中)。平台是Linux Ubuntu 14.04

浏览 4提问于2016-05-21得票数 0

回答已采纳

2回答

Perl在打开gzip文件时会出现"gzip: stdout:坏管道“错误，但只有在连接到DB时才会出现错误。

mysql、perl、gzip

考虑下面的程序，运行在Linux机器上，它打开一个gzipped输入文件： Perl 5，版本26

浏览 3提问于2019-08-23得票数 3

回答已采纳

1回答

hdf5中的并行读取

c++、multithreading、hdf5

我的C++/C程序顺序地从hdf5文件中读取数百个压缩复合数组，并将它们存储在一些向量中。我想提高它的时间性能。我希望我能并行阅读其中的3或4个，然后再读下一个3或4，等等。我对多线程、OpenMP或任何并行编程都非常陌生。我的问题是：-能不能在hdf5 5/C/C++/Linux上实现我想要的？-如果可以，你能给我介绍一些初学者的信息或教程吗？谢谢你，尊敬的尼亚玛

浏览 4提问于2014-04-10得票数 2

2回答

如何加快tar的速度，只需构建一个不受压缩的包

tar、file-management

我有一个大文件夹，2TB，在Linux机器上有1000000个文件。我想用焦油做一个包裹。我不关心tar文件的大小，所以我不需要压缩数据。我怎样才能加快tar的速度？我有一个功能强大的CPU，有28个核心和500 is内存，有办法让tar运行多线程吗？或者，是否有任何好的方法在不同的文件夹之间和不同的服务器之间传输大量的小文件？我的文件系统是ext4。

浏览 0提问于2019-04-17得票数 13

2回答

将文件夹存档到服务器上，在主机上压缩

ssh、networking、scp、compression

我试图做到以下几点：让服务器压缩输入流并将其保存到文件中。我不太关心实际的压缩算法，只要它是多线程的。

浏览 0提问于2021-12-13得票数 0

回答已采纳

5回答

nodejs中的zip多线程

javascript、node.js、zip

在nodejs中可以进行压缩和解压操作吗-多线程？有很多像yauzl这样的模块，但都没有使用多线程，而且您不能使用node-cluster或类似的东西自己启动多个线程，因为每个zip文件都必须在一个线程中处理

浏览 2提问于2019-11-15得票数 8

3回答

如何在很大的输入上使用没有中间文件的GZipStream进行多线程压缩/解压缩

c#、multithreading、stream、compression、gzipstream

我想编写一个使用NET3.5和GZipStream库进行多线程压缩/解压缩的程序。读取有关连接块的元数据文件。

浏览 1提问于2018-05-08得票数 1

回答已采纳

3回答

有没有可能让lzw压缩/解压并行？

parallel-processing、compression、lzw

我读过关于如何使用LZW压缩/解压缩数据的，但我希望让它使用多线程……但我认为这是不可能的。你认为如何？有关于这个主题的论文或文章吗？或者甚至是关于如何做的提示。

浏览 0提问于2012-05-21得票数 0

3回答

创建linux系统的快照

linux、snapshot

我想做以下操作-保存我的linux操作系统的当前状态(centOS6.5)。做一些更改(更具体地说，注入一个错误，并测试一些服务，以检查它在发生特定类型故障时的行为)。然后将系统还原回保存状态。我想不出如何在linux系统上做到这一点。我有一台带有centOS 6.5和ext4 filesystem.Also的机器，这是一台物理服务器，而不是虚拟机。有什么想法或建议吗？

浏览 0提问于2015-08-28得票数 16

1回答

OS多线程差异

multithreading、operating-system、haiku

他们通过创建一个具有“普适多线程”的内核来管理这个问题。对于开发人员来说，不同的多线程系统意味着什么？我发现了一个关于BeOS多线程的有趣网站.

浏览 3提问于2009-01-20得票数 8

回答已采纳

2回答

java多线程在不同的操作系统上是不同的吗？

java、multithreading、operating-system

我正在用java做一个模拟餐馆的多线程程序。我使用的是最新的Eclipse Java Oxygen。我尝试过在windows10和linux mint上运行它，总是使用Eclipse，它在windows上运行得很好，但是当我在linux上尝试同样的项目时，它就停止了。在windows和linux上运行多线程程序有什么区别吗？谢谢

浏览 0提问于2018-05-06得票数 0

2回答

与多线程和多核的关系

multithreading、openmp、multicore

我有一个带openmp的多线程程序(xgboost)，运行在linux上的多核(40核，redhat)服务器上，但当我试图观察"top“命令使用的执行和CPU资源时，我看到只有一个核被我的可执行程序占用Linux在使用openmp执行多线程程序时会不会只使用一个内核？如果是这样，那么多线程究竟是如何实现的呢？只有一个核心？另外，一个内核可以在多个线程上工作，还是只能在一个线程上工作？在linux默认情况下，多线程是否只由一个内核处理？我知道(不是百分之百肯定

浏览 4提问于2015-01-24得票数 0

点击加载更多