有超过30个主题，每个主题有14次计算它是一个大型数据集，但如果超过5次，就会破坏调度器节点上的内存，而不会在与调度器相同的节点上运行任何工作程序。它有128 of的内存吗？chn_del.append(delayed(channel_select)(c,subs[s]))
我显示了运行所有主题的代码，但是一次运行超过5个，内存就用完了
浏览 7提问于2017-07-14得票数 0
回答已采纳
我试图使用Python3.4中的DASK包来避免大型数据集出现RAM问题，但我注意到了一个问题。使用本机函数"read_csv“，我使用不足150 of的RAM将大数据集加载到dataframe中。相同的数据集读取与熊猫DB连接(使用限制和偏移选项)和达克函数“from_pandas”填充我的公羊到500/750 MB。
我无法解释为什么会发生这种情况，我想解决这个问题。
浏览 4提问于2016-07-04得票数 1
回答已采纳
2回答
dask.dataframe.from_delayed逻辑地合并所有数据帧，就好像它们是一个可迭代的数据帧一样。当调用时，from_delayed遍历迭代(示例代码中的生成器)并创建延迟(pd.dataframe)的。 sleep(10) #Looping this generator is costly
ddf = dask.dataframe.fro
浏览 5提问于2022-05-04得票数 0
import osfrom dask.delayed import delayed
def __init__:当我运行函数assets_loading()时，我基本上是在内存中加载整个数据文件夹，以加快处理速度，但它会使内存饱和(可用16‘m)。我没想到一个7.6GB的文件夹能填满16 to内存，这就是我想使用Dask的原因。有与我的脚本工作流程兼容的解决方案吗？
还有另一个
浏览 4提问于2017-11-22得票数 3
1回答
我有一个dask数组，X，大约是。3500x700000。每一行都有缺失值，我需要根据该行的平均值进行推算。有没有一种方法可以将这种估算应用于适当的数组，以便最终将估算的数组作为内存不足的dask数组？
浏览 11提问于2018-09-09得票数 2
1回答
我想了解Dask对象的有效内存管理过程。我已经设置了一个Dask GPU集群，并且我能够执行跨该集群运行的任务。然而，使用dask对象，特别是当我运行计算函数时，在GPU上运行的进程会随着使用越来越多的内存而快速增长，很快我就会收到“内存不足错误”。 我想知道如何在使用完dask对象后释放它们。在下面的示例中，在计算函数之后，我如何释放该对象。我运行了几次以下代码
浏览 16提问于2021-05-06得票数 1
我在一台机器上使用Dask (LocalCluster有4个进程，16个线程，68.56 to内存)，当我试图一次计算两个共享依赖关系的结果时，遇到了工作内存问题。在下面显示的示例中，仅用一次计算就可以很好地快速计算result，工作人员的总内存使用量最高可达1 1GB左右。但是，当使用两次计算来计算results时，当总内存<
浏览 18提问于2021-02-27得票数 2
回答已采纳
我在使用dask时遇到了问题。与熊猫相比，它非常慢，特别是在读取高达40G的大型数据集时。='threading')时)
我认为我可以忍受延迟，即使我很沮丧，但是，当我尝试将数据保存到parquet：df.to_parquet('my data frame', engine="fastparquet")时，它在具有大约110G内存的服务器上耗尽了内存。我注意到，当我执行fre
浏览 3提问于2021-09-21得票数 0
案例研究，，我想计算所有图像的平均值，为了加快分析速度，我想并行处理。使用dask.delayed的方法flist_img_to_filter
futures = client.scatter(chunked_list)
# Create daskImgMean_all = ImgMean
浏览 0提问于2017-10-26得票数 4
回答已采纳
0回答
我有一个关于dask.compute()的一般性问题，这个问题是由我在使用该函数时遇到的内存积累引起的。我使用dask.compute()和map_partitions() (已经尝试过使用dask.distributed和dask.multiprocessing (后者使用pool=ThreadPool和pool=multiprocessing.pool))来应用一个函数，该函数对dask数据帧的
浏览 5提问于2018-07-19得票数 1
2回答
我不知道如何计算来自df.groupy.apply()操作的延迟对象。如果有人能帮忙我真的很感激。下面是我编写的示例代码import daskdf['id'] =def dask_test(group,val_col):
浏览 3提问于2021-12-22得票数 1
回答已采纳
我想使用python在一个大型数组上并行计算。输入数组和输出数组都不在内存中。此外，写入输出文件是一个潜在的瓶颈(因为例如，HDF5通常不支持并行写入)。dask.array.map_blocks(func).store(...)
在等待写出生成的块时，dask如何决定将多少新块放入内存(即读入并开始计算)？据推测，如果它试图使CPU完全被占用，就有可能导致python达到内存限制。是否存在相关的配置设置，或者最好避
浏览 12提问于2018-02-12得票数 2
回答已采纳
2回答
Dask在分支图中执行重构
、、、、
假设，我创建了以下图表：import time
def step_1(): time.sleep但是现在，当我执行step_3b时，我希望它能在一秒钟内完成，因为它已经计算了step_1和step_2。但不幸的是，这两个步骤并没有保留在内存中，step_3b的计算也需要3秒：
stp_3b_
浏览 2提问于2022-06-06得票数 1
回答已采纳
1回答
预期的行为可以通过延迟而不是期货来实现。下面是复制问题的代码：import dask
def inc(x): return x + 1
data = [1, 2
浏览 6提问于2022-09-19得票数 0
因为读取每个csv文件需要一些额外的工作(从文件路径中添加带有数据的列)，所以我尝试从一个延迟对象列表(类似的dask.dataframe )创建。0.12.0)时，它会运行几分钟，而我的系统内存却不断地被填满。当它被充分使用时，一切都开始滞后，并运行了更多分钟，然后它与killed或MemoryError崩溃。但是，这不允许我使用来自文件路径的额外数据来更改每个数据。
编辑#2:按照MRocklin的回答，我尝试用dask的读取我的
浏览 4提问于2016-12-21得票数 8
回答已采纳
1回答
当我用df = dask.dataframe.read_parquet(path_to_parquet_folder)加载数据文件并运行任何类型的计算(如df.describe().compute())时，我的内核就会崩溃。我注意到的事情：我试图创建一个可重复的示例，但没有成
浏览 31提问于2021-12-12得票数 1
回答已采纳
1回答
dask.distributed将数据保存在中，直到不再需要该数据为止。(谢谢@MRocklin!)显然，当另一个主机或其他工作人员需要计算结果时，必须对其进行腌制和发送。当依赖同一主机内的线程并行时，可以避免这种情况，因为所有计算都访问相同的内存(--nth
浏览 3提问于2020-07-03得票数 1
2回答
dask计算结果存储吗？
、、、、
考虑以下代码import dask.dataframe as dddf_pd = pd.DataFrame(data_dict)
df_dask['data1x2'] = df_dask['d
浏览 8提问于2022-04-03得票数 2
回答已采纳
1回答
尽管我阅读了Pangeo和dask/dask分发的文档，但我仍然存在内存错误的问题。计算这30天和的返回间隔(即运行具有指定百分比值的numpy.nanpercentile()或dask DataFrame.quantile()函数)。我有几个问题要问：
对于这些计算，有比我正在采取的步骤更好的方法吗？(似乎构建一个延迟滚动的窗口对象，然后调用sum/persist，这是一个很好的方法。我也尝试过使用<
浏览 0提问于2019-02-12得票数 1
当我创建一个延迟任务列表并将它们提交给计算时，随着列表中条目数量的增加，dask的性能会下降。 当我增加列表中元素的数量时，我看到总体运行时间明显增加。我刚接触dask，但尝试使用它来并行处理这些进程，但随着我增加创建的进程数，它实际上会减慢工作速度。总运行时间为：('step‘是下面代码中的一个参数) 步长= 1: 2104秒 步长= 2: 1937秒 步骤= 5: 2894秒 步骤= 10: 3564秒 当我查看顶部时，我看到6个进程<e
浏览 23提问于2019-04-25得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
