二进制数据的最佳压缩技术？

文章/答案/技术大牛

发布

4回答

compression

我有一个很大的二进制文件，它表示图像中每个像素的alpha通道-0表示透明，1表示其他任何情况。这个二进制数据需要从一个文本文件中动态加载，在其中获得最大可能的压缩率将是非常有用的。解压缩时间并不是最重要的(除非我们谈论的是一分钟到一小时的跳跃)，但文件需要尽可能小。到目前为止，我们尝试的方法是使用游程编码，然后是霍夫曼编码，然后将二进制

浏览 1提问于2010-12-04得票数 9

回答已采纳

1回答

有人能建议一种二进制压缩算法吗？

binary、compression、portable-executable

我正在制作一个封隔器(运行时压缩)来研究Windows格式文件。我知道一些数据压缩算法，如RLE、LZW、Huffman编码等，但是哪种算法最适合压缩二进制数据，比如.exe文件？谁能建议哪种算法是压缩二进制数据的最佳算法？

浏览 1提问于2016-01-02得票数 2

回答已采纳

3回答

在python中将二进制文件和.txt文件组合成单个文件。

file、python-3.x

我有一个二进制文件(.bin)和一个(.txt)文件。使用Python3，是否有任何方法将这两个文件组合成一个文件(如果可能的话不使用任何压缩器工具)？如果我必须使用压缩器，我想用python来完成这个任务。谢谢

浏览 5提问于2014-01-01得票数 0

回答已采纳

2回答

一种小数据量压缩算法

algorithm、runtime、big-o、lzo、big-theta

我的一些同事建议使用zip/gzip压缩，以减少通过网络发送的数据量。然而，当针对我的一个平均JSON消息进行测试时，它们实际上都增加了发送的数据量。直到我发送了一个异常大的响应，压缩才开始发挥作用，并且很有用。tl;d

浏览 1提问于2011-07-15得票数 3

回答已采纳

1回答

Python是否有用于二进制流的等价物io.TextIOWrapper()，例如用于压缩算法？

python、python-3.x

我正在尝试找出io或codecs模块的哪一部分是实现二进制流过滤器的最佳方式，例如Decompressor(output).write(b'compressed')将解压缩的数据写入output流。是否有类似io.BytesIOWrapper的东西作为io.TextIOWrapper的字节等价物？我会将数据解压到解压缩器中，它会解压缩数据，并将

浏览 20提问于2020-04-14得票数 0

1回答

使用霍夫曼编码，文件压缩到底是如何在低层次上工作的？(C格式)

file-io、compression、huffman-code、low-level-io

TL;DR:使用霍夫曼编码的纯文本压缩实际上是如何工作的？我目前正在学习哈夫曼编码算法及其在文本文件压缩中的应用。我知道我们可以通过使用编码技术(例如霍夫曼编码)以较小的大小存储相同的数据，这种编码技术由文本文件中每个字符的频率分布决定。在霍夫曼编码中，我们希望文本文件中最频繁的字符获得最短的二进制表示(可变长度编码)，因此文件所需的<

浏览 3提问于2020-12-02得票数 0

1回答

Git和二进制数据，最佳存储方法

git、binary-diff

我很不幸不得不在git中存储一些二进制文件，让我们假设偶尔会对某些文件进行更改--因此

浏览 0提问于2013-12-19得票数 5

回答已采纳

5回答

识别二进制文件中的算法

algorithm、compression、reverse-engineering

你们中有谁知道在已经编译的文件中识别算法的技术，例如通过测试某些模式的反汇编？我拥有的库是一个用于低

浏览 1提问于2009-02-18得票数 2

1回答

数据存储格式和压缩格式有什么区别？

compression、bigdata、gzip、avro、parquet

我知道在大数据领域，数据存储文件格式的使用非常广泛，比如Parquet、Avro等。我知道这些格式是为了提高性能、兼容性、模式演化、压缩等等。我想专注于压缩，并理解为什么这些格式会在幕后使用压缩格式，比如gzip、zlib和snappy？这就引出了我的主要问题--将我的数据保存在gzip格式和将其保存在Parquet中有什么区别？为什么压缩格式发生在不同的类别中，而不仅仅是数据存

浏览 0提问于2022-07-18得票数 1

回答已采纳

1回答

用于gzip和zip二进制文件的压缩兼容吗？

zip、gzip、file-format

我有很多文件是直接生成的gzip格式。我想把这些重新打包成压缩档案，把许多文件组合在一起。考虑到这些文件的大小和数量(每个文件未压缩0.5GB，以及数千个文件)，如果唯一的技术差异是文件头，我真的希望避免仅为了重新压缩这些文件。考虑到这两种文件格式都使用/支持算法，我是否可以将文件头从gzip文件中去掉，并将压缩数据修补到压缩文件中，而无需重新编码(但添加适当的报头条目)。或者，压

浏览 3提问于2015-01-27得票数 1

1回答

库来压缩文本数据并将其存储为文本。

zlib、compression、huffman-code

我想将网页存储在压缩文本文件(CSV)中。为了实现最佳压缩，我想提供一组1000个网页。然后，图书馆应该花一些时间为这些内容创建最佳的“字典”。一个明显的“字典”条目可以是<!通过创建像这样的自定义字典，在我的例子中，压缩率应该是99%。我的问题是，在具有MIT或类似自由许可的Windows上是否存在用于执行此操作的库？如果没有，有没有你推荐的通用

浏览 1提问于2011-03-07得票数 1

回答已采纳

1回答

如何将JSON文件压缩到适当的大小？

json

通过获取JSON数据并使用它来绘制边界，我正在创建一个网页，但由于文件大小约为22 MB，加载需要花费很长时间。实际上，它是一个印第安Map文件。我有两个文件来绘制JSON数据，但其中一个文件不包含更新的国家边界，另一个文件太大。您是建议一些源来压缩它，还是建议其他适当大小的文件？

浏览 2提问于2020-06-19得票数 1

1回答

如何将压缩和存储类型的文件混合在同一个zip文件中

bash、shell、zip

我正在寻找一个shell命令(最好是一个一行)，它将创建一个压缩和存储内容的zip文件(所谓存储，我指的是官方文档链接1中所述的未压缩文件)。允许混合不同的压缩类型，包括只存储文件： 4.1.8放置在ZIP文件中的每个数据文件都可以进行压缩、存储、加密或数字签名，这与在同一ZIP文件中的其他数据文件如何存档无关。如果这是必要的话，这种技术上的可能性得到了在下在I

浏览 1提问于2019-01-20得票数 3

回答已采纳

3回答

浏览器中二进制数据的加密/解密

javascript、browser、binary-data

我正在做一个需要客户端从服务器接收到的二进制数据加密的项目。这种情况是，服务器以压缩和加密的形式具有二进制数据。浏览器需要接收这些数据(文件)，对其进行解密和解压缩，然后将它们下载到本地计算机上用户指定的位置。我知道他们在浏览器里做这件事有几个限制- Javascript是否可以访问本地存储。是否可以将多个文件写入/流到硬盘上用户指定的位置？如果是的话，需要查找哪些A

浏览 7提问于2012-07-26得票数 2

3回答

我有一个从指纹设备获取base64字符串格式图像的ActiveX控件。Active运行得很好，我可以将返回的base64字符串传输到服务器，转换为二进制数据，然后保存到数据库中。我使用ASP.NET作为服务器端技术，使用JavaScript作为客户端技术。问题是base64字符串很大，将字符串传输到服务器需要30到40秒。我的问题是:有没有办法在客户端(浏览器)上压缩这个base64字符串，然后在服务器上把它压缩回去

浏览 2提问于2009-09-03得票数 2

回答已采纳

3回答

最有效的压缩超大型数据集

linux、storage

我目前正在远程HPC (高性能计算机)上生成一个非常大的数据集。我们现在谈论的是3TB，一旦我做完，它可能会达到10 TB。现在可以了，但我的研究小组在技术上仅限于远程服务器上磁盘空间的1TB，尽管管理员愿意闭上眼睛，直到情况解决为止。您建议如何压缩这样的数据集？一个限制是任务在这台计算机上一次不能运行超过48个小时。因此，只有在48小时足够的情况下，有效的压缩方法才有可能.我和

浏览 7提问于2013-12-12得票数 2

回答已采纳

1回答

从SQL加载数据并将其转换为二进制的推荐方法

c#、web-services、entity-framework、linq-to-sql、mtom

我有Server 2008数据库上的数据，需要加载数据并通过基于MTOM编码的WCF web服务发送。问题1:加载和准备WCF数据的最佳方法是什么？我可以使用Linq，EF4 ...or任何其他建议的

浏览 4提问于2011-11-30得票数 0

4回答

压缩序列化Python数据的最有效的空间方法是什么？

python、serialization、compression、pickle

来自这些文件中有一个对腌制文件特别有效吗？我正在挑选的数据主要由嵌套字典和字符串组成，所以如果有一种更有效的压缩方法，例如JSON，那也是可行<em

浏览 4提问于2019-09-18得票数 23

回答已采纳

1回答

说AVs在仿真中使用与静态二进制文件相同的基于签名的检测方法是正确的吗？

malware、antivirus、antimalware、dynamic-analysis

许多恶意软件可以打包或加密，AVs将模仿它们的执行，允许它们自行解压缩或解密。一旦他们做到了，AVs只是使用相同的散列或模式匹配技术，他们将使用的静态二进制，还是他们使用完全不同的技术？

浏览 0提问于2019-07-07得票数 1

回答已采纳

1回答

将文件从Java程序上载到服务器

java、python、file-upload、bottle

我想将一个zip文件从我的java应用程序上传到运行Bottle web框架的服务器上。是否仍然理想的转换为二进制，然后发送数据，还是有另一种方法是推荐的。

浏览 0提问于2014-01-09得票数 0

点击加载更多