我想使用Hadoop /Reduce来处理协议缓冲区文件，这些文件是使用LZO以外的东西压缩的，例如xz或gzip。Twitter的大象鸟库似乎主要支持阅读LZO压缩的原型文件，因此似乎不能满足我的需要。是否有一个现有的库或标准的方法来做到这一点？(注意:正如您从我选择的压缩算法中可以看到的那样，解决方案没有必要将protobuf文件拆分。您的答案甚至不需要指定特定的压缩算法，但至少应该允许我提到的一种压缩算法</e
浏览 1提问于2013-02-22得票数 1
1回答
有损解压缩总是产生相同的输出吗？
、、、、
考虑有损压缩格式(用于图像、音频、视频等)如果它只在相同的压缩输入文件上工作，那么相同的解压缩算法是否总是产生相同的输出？那么解压器的不同口味又如何呢，它们用相同的输入产生相同的输出吗？我在某些地方读到，一些jpeg解压缩算法以质量换取速度，这意味着它们不会产生相同的输出。
因此，总之，考虑到我们可以同时知道压缩算法和解压缩算法的使用，我们是否能够依赖于输
浏览 0提问于2014-08-14得票数 11
回答已采纳
我有这个问题，因为我需要为压缩数据分配输出缓冲区。我想知道压缩算法(例如gzip、zip或snappy)的输出比输入的值小多少？
浏览 6提问于2012-11-16得票数 1
3回答
gzip输入/输出流不在Java直接缓冲区上操作。这样，将不存在将直接缓冲器复制到java字节数组以进行压缩的开销。
浏览 2提问于2012-01-07得票数 7
回答已采纳
1回答
WinRar中使用哪种压缩算法？我正在研究文件压缩技术。那么哪种算法最适合音频/视频文件的压缩呢？
浏览 4提问于2012-02-20得票数 3
回答已采纳
给定一个没有任何格式的名为"foo“的文件我知道我可以使用"file foo“并相应地解压缩它。然而，我想要并需要一个工具，可以检测和解压缩任何格式
浏览 1提问于2017-11-18得票数 0
1回答
我正在制作一个封隔器(运行时压缩)来研究Windows格式文件。我知道一些数据压缩算法，如RLE、LZW、Huffman编码等，但是哪种算法最适合压缩二进制数据，比如.exe文件？谁能建议哪种算法是压缩二进制数据的最佳算法？
浏览 1提问于2016-01-02得票数 2
回答已采纳
3回答
在Java中使用块压缩大文件
、、、、
我正在使用两种压缩算法的连续应用程序在Java中压缩超过2 2GB的文件；一种基于LZ，另一种基于哈夫曼。(这类似于放气)。由于2 2GB太大而无法保存在任何缓冲区中，因此我必须通过输出临时文件的一种算法来传递文件，然后通过第二种算法来传递该临时文件以输出最终文件。另一种方法是将文件压缩为8MB的块(这个大小我不会收到内存不足的错误)，但是这样我就无法充分利用整个文件中的冗余。
任何想法如何更整洁地执行这些操作。没有临时文件，也没有块
浏览 5提问于2014-02-07得票数 0
2回答
目前，我正在寻找一种无损压缩算法，适用于大量的文本，这将进一步加密的AES和用作隐写术的有效载荷。基于，似乎算术编码在统计压缩技术中更可取，而LZB被推荐用于字典压缩技术。因此，我现在想知道，从压缩比和易于实现的角度来看，统计压缩和字典压缩哪个更适合于大型英文文本压缩。
我已经搜索过了，但仍然几乎没有合适的算法的想法。非常感谢您抽出时间来回答。祝您今天愉快。:)
浏览 27提问于2018-05-08得票数 0
avdec_h264和autovideosink )"WARNING: from element /GstPipeline:pipeline0/GstVaapisink0:正在删除大量缓冲区
浏览 1提问于2014-02-21得票数 1
我正在压缩一个有很多字段的数据结构。哪种方法更好，使用gzwrite压缩并写入文件中的每个字段，还是将所有字段写入缓冲区并进行压缩？
浏览 2提问于2013-01-31得票数 0
回答已采纳
1回答
我正在使用GZIP压缩来压缩文件。考虑一下解压缩的代码片段。> 0) { } out.close();请澄清以下几点
GZIP算法读取多少字节来一次
浏览 2提问于2016-06-26得票数 1
1回答
linux无缓冲压缩选项
、、、、
我正在开发一个嵌入式系统，由于内存的限制，我需要“动态”压缩日志文件。问题是，如果系统断电，这个实现会失去输出，因为gzip有一个内部缓冲区。根据编译了哪些选项busybox，内部缓冲区可能会有所不同。还是逐行压缩？有可能吗？
浏览 0提问于2016-02-10得票数 2
什么是好的面向压缩的应用程序编程接口(API)？我正在试验一些数据压缩算法。通常，我生成的压缩文件由一系列块组成，块标题指示需要使用哪种压缩算法来解压缩该块中的其余数据-- H
浏览 2提问于2011-07-14得票数 3
回答已采纳
我正在制作windows RDP(远程桌面协议) Web浏览器。我第一次这样做，(我将跳过对认证过程的描述)
第5步:使缓冲区base64，因
浏览 1提问于2016-10-08得票数 0
7回答
这有点简单，所以假设数据必须多次传递和解压缩，而不是一年一次。通信通道真的很慢，所以我们想要预先压缩数据，传递给设备，让它将数据解压缩到内部闪存中。它有足够的闪存来存储结果，并且可以在接收到数据块时对其进行解压缩，但它可能没有足够的RAM来存储整个压缩或未压缩的数据(甚至两者都有！)数据块。当然，它没有操作系统或其他奢侈品。这意味着我们需要一个足够快且不占用大量内存的解压算法。由于我们是在PC端进行压缩，因此压缩过程可能会很慢、很丑陋
浏览 0提问于2010-09-22得票数 22
1回答
我正在使用可拆分的LZO压缩将序列化的记录写入文件。为了实现这一点，我使用了他们的ThriftBlockWriter类。然后，我的烫伤工作使用源来处理记录。一切都很好。问题是，我仅限于一个类的记录。因此，我的输入将是LZO压缩的原始字节数组，而不是LZO压缩的线程记录。我的问题是:我应该用什么代替FixedPathLzoThrift[MyThriftClass]
对“协议缓冲区”标签的解释:象鸟使用协议缓冲区SerializedBlock类包装原始输入，如所示。
浏览 0提问于2015-01-15得票数 1
回答已采纳
1回答
压缩(使用z_stream，deflateInit2.)没有问题，但在压缩gziped文件之前，我需要知道它的大小。这是可能的，还是我在压缩时必须数字节的唯一选择？提前感谢！
浏览 5提问于2020-12-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
