numpy memmap运行时错误....64位系统，2Gigas限制？
numpy memmap运行时错误....64位系统，2Gigas限制？
提问于 2018-07-31 06:01:58
我正在尝试用numpy memmap创建一个大文件
big_file = np.memmap(fnamemm, dtype=np.float32, mode='w+', shape=(np.prod(dims[1:]), len_im), order='F')该系统是在64位python中运行的Windows 10-64位操作系统
In [2]: sys.maxsize
Out[2]: 9223372036854775807有足够的虚拟内存(最大120000M)
但是，每次我尝试创建一个结果大小应该超过2Gigas的文件时，我都会得到一个运行时错误
In [29]: big_file = np.memmap(fnamemm, dtype=np.int16, mode='w+', shape=(np.prod(dims[1:]), len_im), order=order)
C:\Users\nuria\AppData\Local\Continuum\anaconda3\envs\caiman\lib\site-packages\numpy\core\memmap.py:247: RuntimeWarning: overflow encountered in long_scalars
bytes = long(offset + size*_dbytes)
---------------------------------------------------------------------------
OSError Traceback (most recent call last)
<ipython-input-29-66578da2d3f6> in <module>()
----> 1 big_file = np.memmap(fnamemm, dtype=np.int16, mode='w+', shape=(np.prod(dims[1:]), len_im), order=order)
~\AppData\Local\Continuum\anaconda3\envs\caiman\lib\site-packages\numpy\core\memmap.py in __new__(subtype, filename, dtype, mode, offset, shape, order)
248
249 if mode == 'w+' or (mode == 'r+' and flen < bytes):
--> 250 fid.seek(bytes - 1, 0)
251 fid.write(b'\0')
252 fid.flush()
OSError: [Errno 22] Invalid argument当文件大小小于2Gigas时，不会发生此错误...
我已经在另一个64位的windows 7上复制了同样的问题。
我是不是忘了什么？为什么memmap会像我的32位系统一样运行？
编辑:该错误并不完全是运行时错误。变量"bytes“在尝试获取文件的长度时得到运行时警告，我猜这会导致一个错误的参数，引发Errno22
回答 2
Stack Overflow用户
发布于 2018-12-04 18:22:57
我遇到了一个类似的错误，结果是因为shape=(A，B)参数中的一个是int32而不是int64。尝试以下操作：
len_im64 = np.array(len_im,dtype='int64')
big_file = np.memmap(fnamemm, dtype=np.float32, mode='w+', shape=(np.prod(dims[1:]).astype('int64'), len_im), order='F')它帮我修好了。
Stack Overflow用户
发布于 2018-07-31 07:07:26
即使系统是64位的，问题也可能是因为应用程序是使用32位目标构建的。检查您的shell执行模式(32位或64位)。
对于这类应用程序，您必须使它们具有大地址感知能力。然后，这32个应用程序可以访问64位机器上的4 4GB内存。
如何做到这一点？这是某人的文章。
https://github.com/pyinstaller/pyinstaller/issues/1288
注意:如果您的应用程序是使用64位目标构建的..忽略此选项并添加注释，将删除此答案。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51602874
复制相关文章
相似问题