假设我生成一个具有依赖于某些计算的形状的数组,例如: >>> import dask.array as da
>>> a = da.random.normal(size=(int(1e6), 10))当我在dask工作线程上持久化计算结果时,我会假设这个丢失的元数据可能已经被检索到了,但显然情况并非如此: >>> a_persisted = a.persist()
我的电脑有32‘t的内存,所以写5.5GB的块应该不是问题。然而,在运行此脚本后的几秒钟内,我的内存使用量很快就超过了可用的~20 my,脚本就失败了。资料来源:至zarr文件,包含美国2014年6月28日的雷达降雨数据,总数约为1.8GB。MemoryError: Unable to allocate 5.48 GiB for an array with shape (30, 3500, 7000) and data type fl