当我在网格>2000次上使用生成器表达式和迭代器从规则网格中插值数据时，我会收到一个MemError。
当我在网格>2000次上使用生成器表达式和迭代器从规则网格中插值数据时，我会收到一个MemError。
提问于 2018-10-31 13:57:02
这是我在堆栈溢出的第一个问题，因为我开始使用Python3编写脚本。
应用程序
我制作了一个Python3脚本，它为LS中的有限元模拟编写了可移动热源的负载定义。作为源，我有一个离散的三维生热率密度(W/cm^3)场，坐标定义了有限元网格和热场中心随时间的位置。作为输出，我得到一个随时间变化的加热功率，按每个有限元的单元数排序。这已经适用于合理的尺寸(200000有限元，3000个热场位置，400000个热场数据点)。
问题
对于较大的有限元网格(4000 000元素)，我耗尽内存(60 of内存，python3 64位)。为了进一步说明这个问题，我准备了一个最小的例子，它是独立运行的。它生成一些人工测试数据，一个有限元网格，我如何使用它(在现实中，它不是一个规则的网格)和一个迭代器的新位置的热量应用。
import numpy as np
import math
from scipy.interpolate import RegularGridInterpolator
def main():
dataCoordinateAxes,dataArray = makeTestData()
meshInformationArray = makeSampleMesh()
coordinates = makeSampleCoordinates()
interpolateOnMesh(dataCoordinateAxes,dataArray,meshInformationArray,coordinates)
def makeTestData():
x = np.linspace(-0.02,0.02,300)
y = np.linspace(-0.02,0.02,300)
z = np.linspace(-0.005,0.005,4)
data = f(*np.meshgrid(x,y,z,indexing='ij',sparse=True))
return (x,y,z),data
def f(x,y,z):
scaling = 1E18
sigmaXY = 0.01
muXY = 0
sigmaZ = 0.5
muZ = 0.005
return weight(x,1E-4,muXY,sigmaXY)*weight(y,1E-4,muXY,sigmaXY)*weight(z,0.1,muZ,sigmaZ)*scaling
def weight(x,dx,mu,sigma):
result = np.multiply(np.divide(np.exp(np.divide(np.square(np.subtract(x,mu)),(-2*sigma**2))),math.sqrt(2*math.pi*sigma**2.)),dx)
return result
def makeSampleMesh():
meshInformation = []
for x in np.linspace(-0.3,0.3,450):
for y in np.linspace(-0.3,0.3,450):
for z in np.linspace(-0.005,0.005,5):
meshInformation.append([x,y,z])
return np.array(meshInformation)
def makeSampleCoordinates():
x = np.linspace(-0.2,0.2,500)
y = np.sqrt(np.subtract(0.2**2,np.square(x)))
return (np.array([element[0],element[1],0])for element in zip(x,y))然后在这个函数中进行插值。为了隔离问题，我删除了for循环中的所有内容。实际上，我以特定的格式将加载曲线导出到文件中。
def interpolateOnMesh(dataCoordinateAxes,dataArray,meshInformationArray,coordinates):
interpolationFunction = RegularGridInterpolator(dataCoordinateAxes, dataArray, bounds_error=False, fill_value=None)
for finiteElementNumber, heatGenerationCurve in enumerate(iterateOverFiniteElements(meshInformationArray, coordinates, interpolationFunction)):
pass
return
def iterateOverFiniteElements(meshInformationArray, coordinates, interpolationFunction):
meshDataIterator = (np.nditer(interpolationFunction(np.subtract(meshInformationArray,coordinateSystem))) for coordinateSystem in coordinates)
for heatGenerationCurve in zip(*meshDataIterator):
yield heatGenerationCurve
if __name__ == '__main__':
main()为了识别问题，我跟踪了内存消耗的时间。内存消耗随时间的推移结果数组上的迭代似乎消耗了相当大的内存。
问题
是否有一种更少的内存消耗方式来迭代数据点而又不影响太多的性能呢？如果没有，我想我将把网格数组分割成块，然后逐一对它们进行插值。
回答 1
Stack Overflow用户
发布于 2018-11-02 14:59:44
到目前为止，我找到的唯一解决方案是削减meshInformationArray。在这里，修改了main()函数：
def main():
dataCoordinateAxes,dataArray = makeTestData()
meshInformationArray = makeSampleMesh()
coordinates = makeSampleCoordinates()
sections = int(meshInformationArray.shape[0] / 100000)
if sections == 0: sections = 1
for array in iter(np.array_split(meshInformationArray, sections, axis=0)):
interpolateOnMesh(dataCoordinateAxes,dataArray,array,coordinates)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/53085135
复制相关文章
相似问题
腾讯云开发者
