我正在尝试用numpy memmap创建一个大文件
big_file = np.memmap(fnamemm, dtype=np.float32, mode='w+', shape=(np.prod(dims[1:]), len_im), order='F')
该系统是在64位python中运行的Windows 10-64位操作系统
In [2]: sys.maxsize
Out[2]: 9223372036854775807
有足够的虚拟内存(最大120000M)
但是,每次我尝试创建一个结果大小应该超过2Gigas的文件时,我都会得到一个运行时错误
In [29]: big_file = np.memmap(fnamemm, dtype=np.int16, mode='w+', shape=(np.prod(dims[1:]), len_im), order=order)
C:\Users\nuria\AppData\Local\Continuum\anaconda3\envs\caiman\lib\site-packages\numpy\core\memmap.py:247: RuntimeWarning: overflow encountered in long_scalars
bytes = long(offset + size*_dbytes)
---------------------------------------------------------------------------
OSError Traceback (most recent call last)
<ipython-input-29-66578da2d3f6> in <module>()
----> 1 big_file = np.memmap(fnamemm, dtype=np.int16, mode='w+', shape=(np.prod(dims[1:]), len_im), order=order)
~\AppData\Local\Continuum\anaconda3\envs\caiman\lib\site-packages\numpy\core\memmap.py in __new__(subtype, filename, dtype, mode, offset, shape, order)
248
249 if mode == 'w+' or (mode == 'r+' and flen < bytes):
--> 250 fid.seek(bytes - 1, 0)
251 fid.write(b'\0')
252 fid.flush()
OSError: [Errno 22] Invalid argument
当文件大小小于2Gigas时,不会发生此错误...
我已经在另一个64位的windows 7上复制了同样的问题。
我是不是忘了什么?为什么memmap会像我的32位系统一样运行?
编辑:该错误并不完全是运行时错误。变量"bytes“在尝试获取文件的长度时得到运行时警告,我猜这会导致一个错误的参数,引发Errno22
发布于 2018-12-04 18:22:57
我遇到了一个类似的错误,结果是因为shape=(A,B)参数中的一个是int32而不是int64。尝试以下操作:
len_im64 = np.array(len_im,dtype='int64')
big_file = np.memmap(fnamemm, dtype=np.float32, mode='w+', shape=(np.prod(dims[1:]).astype('int64'), len_im), order='F')
它帮我修好了。
发布于 2018-07-31 07:07:26
即使系统是64位的,问题也可能是因为应用程序是使用32位目标构建的。检查您的shell执行模式(32位或64位)。
对于这类应用程序,您必须使它们具有大地址感知能力。然后,这32个应用程序可以访问64位机器上的4 4GB内存。
如何做到这一点?这是某人的文章。
https://github.com/pyinstaller/pyinstaller/issues/1288
注意:如果您的应用程序是使用64位目标构建的..忽略此选项并添加注释,将删除此答案。
https://stackoverflow.com/questions/51602874
复制相似问题