Perl:在文件中高效地存储/获取约束整数的2D数组
Perl:在文件中高效地存储/获取约束整数的2D数组
提问于 2014-08-26 18:53:10
这是一次通过更彻底地解释我想做什么来改进我的Perl: seek to and read bits, not bytes的尝试。
我有x，一个9136x42个整数数组，我想把它高效地存储在一个文件中。整数具有以下约束：
- X0.9135中的所有9136个整数都在-137438953472到137438953471之间，因此可以使用38位存储。
- X0.9135中的所有9136个整数都在-16777216到16777215之间，因此可以使用25位存储。
- 等等..。(整数位约束是预先知道的；Perl不必计算它们)
问题:使用Perl，我如何有效地将这个数组存储在一个文件中？
备注：
- 如果一个整数可以存储在25位，它也可以存储在4字节(32位)，如果你愿意浪费7位。然而，在我的情况下，每一点都很重要。
- 我希望使用file find ()快速查找数据，而不是按顺序读取文件。
- 该数组通常以xi的身份访问。换句话说，我需要与给定的xi对应的42个整数，因此这42个整数应该彼此靠近存储(理想情况下，它们应该在文件中彼此相邻地存储)
- 我最初的方法是先设置一个比特流，然后找到一种方法将其读回并将其转换为整数。我最初的问题集中在这一点上，但也许有一个更好的解决方案，更大的问题，我没有看到。
关于我在做什么的细节太多了：
回答 1
Stack Overflow用户
发布于 2014-08-27 13:55:39
我不确定我是否应该鼓励你，但是它就像Data::BitStream会按照你的要求去做。
下面的程序将一个38位值和一个25位值写入一个文件，然后打开并完整地检索这些值。
#!/usr/bin/perl
use strict;
use warnings;
use Data::BitStream;
{
my $bs_out = Data::BitStream->new(
mode => 'w',
file => 'bits.dat',
);
printf "Maximum %d bits per word\n", $bs_out->maxbits;
$bs_out->write(38, 137438953471);
$bs_out->write(25, 16777215);
printf "Total %d bits written\n\n", $bs_out->len;
}
{
my $bs_in = Data::BitStream->new(
mode => 'ro',
file => 'bits.dat',
);
printf "Total %d bits read\n\n", $bs_in->len;
print "Data:\n";
print $bs_in->read(38), "\n";
print $bs_in->read(25), "\n";
}输出
Maximum 64 bits per word
Total 63 bits written
File size 11 bytes
Total 63 bits read
Data:
137438953471
1677721538和25是所写的63位数据，模块确认了这一点。但是显然还有一些额外的管理数据，因为结果文件的总大小是11个字节，而不仅仅是最少需要的8个字节。注意，当重新打开时，数据会记住它有63位长。但是，它比一个文件包含两个简单的64位整数所需的16个字节要短。
如何处理这些信息取决于您自己，但请记住，以这种方式打包的数据将很难用十六进制编辑器进行调试。如果你收养这样的东西，你可能会开枪打中自己的脚。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/25518204
复制
![[Java] 在Java中优雅地进行文件IO操作](https://ask.qcloudimg.com/http-save/yehe-6872954/mloizixl4a.png)
相似问题
在Ruby中高效地存储/压缩整数数组？
递增存储在文件中的整数: Perl
在Java中高效地存储数组列表
将图像高效地存储在XML文件中
Java:整数数组的内存高效存储
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
