在训练分类模型时,我将输入的图像样本作为NumPy数组传递,但是当我试图训练大型数据集样本时,会遇到内存错误。目前,我有120 GB大小的内存,即使有了这个大小,我也会遇到内存错误。GiB for an array with shape (2512019,82,175,1) and data type float32
如何在不增加内存大小的情况下解决这个问题?是否有更好的方法来读取数据</e
我正在尝试用Python读取一个很大的csv文件;它有大约700个属性和101533行。我尝试使用pandas.read_csv命令读取文件,但它出现了内存问题,然后我尝试了这个解决方案with file("data.csv", "rb") as fsplitted by ","
print np.sum(data, axis=0) # sum along 0 axis to get the sum