我正在比较Dask和Numpy在不同数据大小下的计算速度。我知道Dask可以并行执行数据计算，它将数据分成块，这样数据大小就可以大于RAM。当使用下面的Dask代码时，我得到一个内存错误(显示在底部)，大小为42000的正方形数组。运行类似的代码时，我没有得到任何错误。Dask抛出内存
浏览 0提问于2018-07-14得票数 6
我在C#中为神经网络使用NumSharp 当我前进时，我尝试接收神经元数值(一维数组)与权重的点积(二维数组)的点积。然而，当我尝试用一维数组对二维数组进行点积时，它抛出了一个错误，指出它不能传播到单一形状。 据我所知，python中的numpy可以很好地处理这一点，那么为什么</em
浏览 14提问于2020-11-02得票数 0
1回答
dask.distributed将数据保存在中，直到不再需要该数据为止。(谢谢@MRocklin!)显然，当另一个主机或其他工作人员需要计算结果时，必须对其进行腌制和发送。当依赖同一主机内的线程并行时，可以避免这种情况，因为所有计算都访问相同
浏览 3提问于2020-07-03得票数 1
我有一个非常大的布尔2d数组(~1Gb)，我想用一个一维float64数组来匹配它。输出数组将很大，但仍然比2d数组小得多。然而，当我试图匹配它们时，我的系统会崩溃，并试图为2d数组分配足够的内存以使其具有float64，而不仅仅是为输出向量分配足够的内存。exceptions.MemoryError: Unable to allocate 43.6 GiB for an array with shape (286880, 20419
浏览 13提问于2022-11-30得票数 2
我目前正在使用Pandas和星火进行数据分析。我发现Dask提供并行化的NumPy数组和Pandas DataFrame。
Dask提供并行数组、数据帧、机器学习和自定义算法。Dask对Python用户来说有一个优势，因为它本身就是一个Python库，所以当事情出错时，序列
浏览 4提问于2016-08-10得票数 101
2回答
dask中的点产品似乎比在numpy中运行得慢得多：x_np = np.random.normal(10, 0.1, size=(1000,100))%timeit x_np.dot(y_np)x_dask = da.random.normal(10, 0.1, size
浏览 7提问于2015-12-23得票数 4
回答已采纳
1回答
大矩阵运算中的内存耗尽
、、、、
在捷径中，当我需要学习一个由整数组成的大小为67K*67K的矩阵时，我会遇到一个问题，通过简单的numpy.dot(A.T,A)，其中A是一个随机向量(1,67K)。当我这样做时，它只是抛出MemoryError，因为我的PC只有8gb内存，而内存的原始计算是16 8gb。而不是我在寻找替代物的时候找到了。所以我带着这个dask.array.dot(A.T,A)转到了dask，它已经完成了。但是，我需要对这个矩阵<e
浏览 1提问于2016-06-19得票数 0
回答已采纳
例如，当维度要大得多时，当我无法将整个数组存储在内存中时，我希望能够以一种核心的方式做到这一点：num_times = 100d =NumPy数组，我希望计算和写入文件阶段一次只完成一个块(在本例中的步骤维度上分块)。我主要感兴趣的是更好地理解xarray的核心外计算，所以我没有我要问的具体计算，但是，既然有人要求我举一个更复杂的
浏览 0提问于2017-10-26得票数 6
回答已采纳
在.values之后，它们都是numpy数组 然后我得到了错误： ValueError: array is too big; `arr.size * arr.dtype.itemsize` is larger完整的错误消息： ValueError Traceback (most recent call last)
filepath in
浏览 276提问于2021-08-20得票数 0
回答已采纳
1回答
我正在开发一个有2M行的模型，但是pandas dataframe在读取文件时抛出内存错误。代码运行良好，但等待时间更长，内存和cpu使用率较高，会影响其他正在运行的作业。下面的代码作为参考。import daskfrom dask.distributed import Client
from dask_ml.model_selection这是否会</
浏览 3提问于2020-03-02得票数 1
1回答
numpy的大型磁盘阵列
、、、
我有一个稀疏数组，它似乎太大了，无法有效地在内存中保存(2000x2500000，浮点数)。我可以将它形成一个稀疏lil_array (scipy)，但是如果我尝试输出一个列或行压缩的稀疏数组(A.tocsc()，A.tocsr())，我的机器就会耗尽内存(而且文本文件4.4G中的数据和经过pickeled我将来可能会处理更大的数组。
问:以一种透明的方式使用常规的numpy函数来处理大型磁盘阵列的最佳方式是什么？例如，行和列的求和，向量积，最大，最小
浏览 0提问于2012-04-26得票数 6
1回答
dask核外矩阵乘法调度
、、、
h5py:///tmp/dummy::/X", chunks=(10**4,10**4)))into("h5py:///tmp/dummy::/Y", y)
我预计这个计算会顺利进行但是，运行此计算将填充我的RAM和交换内存，直到进程最终被杀死为止。这将释放这些张点中间结果的内存，这样我们就不会面临内存
浏览 0提问于2017-05-01得票数 3
回答已采纳
2回答
除非我在本地运行代码，否则没有问题，但是，如果我尝试在分布式系统上复制插值，我会得到以下错误：要复制这个问题，需要在分布式或本地环境之间切换= np.linspace(34., 53., px*2)computed = interp.compute()
有没有关于如何解决这个问题的想法我需要对500米到250米的卫星数据集进行上采样。最后的目标是，由于还
浏览 1提问于2020-06-19得票数 1
考虑将一个2D数组X放入内存--在我的例子中，它是以Zarr格式存储的，但这并不重要。我想在数组上按块映射一个函数，并保存结果，而无需将整个数组加载到内存中。例如，import numpy as np
dtype=np.int32).reshape((np.mean(chunk,axis=0)
lazy_result = X.map_blocks(toy_fun
浏览 2提问于2020-05-29得票数 0
我正在考虑的方法是以某种方式将这个巨大的矩阵拆分到不同的子矩阵中，这些子矩阵适合内存，对这些子矩阵执行操作，然后将它们连接回原来的矩阵，希望在进行所有池操作之后，该矩阵将被重新放入内存中。第一矩阵包含激光束穿过粉末床熔化金属时X轴的坐标值，第二矩阵与Y轴相同，第三矩阵表示激光在同一像素点上熔化的时间。这些值以秒表示。
所以我有激光穿过X和Y轴的坐标，以及融化每个点所需的时间。问题是，当激光到达时，某个像素的温度和激光停留在该像素上的时间会对n个像素产生
浏览 0提问于2019-03-01得票数 4
回答已采纳
我正在尝试将蒙特卡罗模拟从numpy转换为dask，因为有时数组太大，无法进入内存。因此，我在云中设置了一个计算机集群:我的dask集群由24个核心和94 GB内存组成。数组的形状(但由于它是numpy，所以future_panel的元素在内存中累积。即从具有预期形状的历史数据(1，1，sim_count，sim_days)生成的数组
现在的问题是，这些步骤中有一些没有在<
浏览 0提问于2018-08-23得票数 31
我正在努力将Pandas/Numpy代码转换为Dask，以处理更大的数据集。它在我的dataframe中创建和填充一个新列，没有问题。：如何最好地以并行处理/ Dask友好的方式使用这个numpy，我一直没有成功地使用Dask文档/示例或其他SO线程。'time_or
浏览 7提问于2020-09-21得票数 0
回答已采纳
1回答
如何处理并行返回大结果的小数据帧
、、、、
处理过程大致是:将给定大小的网格(NumPy数组)上的一组数据打包，并计算该网格与自身的张量外积(numpy.multiply.outer)。然后对得到的乘积求和，得到最终的数组。我可以看到进程并行运行，但是当返回结果时，我得到了错误'OverflowError('cannot serialize a bytes objects larger than 4GiB',)'。我尝试了这个解决方案：，这使我找到了答案中
浏览 28提问于2021-03-11得票数 1
2回答
我尝试使用armadillo进行线性回归，如以下函数所示：{ const mat &xt(X.t转置并不是很糟糕，但第一次乘法会导致内存占用完全崩溃。现在，根据我的理解，如果我将X.t() * X相乘，矩阵乘积的每个元素将是X的一列和X.t()的一行的点积，结果应该是一个64x64的矩阵。当然，这应该需要很长时间，但为什么内存会突然膨
浏览 0提问于2017-02-28得票数 0
0回答
我有一个非常大的numpy数据数组(100K列x 7K行)，我想计算列之间的所有成对皮尔逊相关性(~(100,000^2)/2 =50亿相关性)。这个数组几乎不适合RAM，所以简单的方法不会减少它，我也想合理有效地完成这项工作。有没有什么方法可以做到这一点(最好用Python，尽管C/C++也可以接受)？任何与此并行的方法也会非常有帮助，因为我希望在合理的时间内完成它。
我已经尝试过使用numpy.corrcoef函数，但它只使用了
浏览 2提问于2017-11-28得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
