通过调用ray.put(object)，我发现在Ray项目中，大型数组存储在共享内存中，并且可以由所有工作进程访问，而无需创建副本。有太多的场合(161700+3921225+...)而且，由于这些工作者之间不相互通信，它们只需要将输出返回到主数据帧，所以只需要读取基本数据帧就可以了。Dask中有没有类似的东西来避免将数据复制到每个worker中？它可能是这样的： dask.put(df) 然后，每个工人可能会阅读自
浏览 17提问于2020-01-30得票数 0
回答已采纳
我想到的一种方法是在一个单独的进程中运行这个函数，但不只是启动另一个进程，因为这个函数使用了大量的内存和对象，因此很难将其分开。在python中，C中是否有类似叉子()的东西，可以创建具有相同内存结构的相同进程的副本，等等？
或者其他的想法？更新:似乎没有真正的方法来捕获python中的C运行时错误，这些错误处于较低的<
浏览 4提问于2020-10-23得票数 0
回答已采纳
1回答
我想使用Dask摄取一个大的(>2GB，> 1M行)行分隔的JSON，并将其保存为一批Parquet文件。我正在我的个人电脑上进行这些实验，所以这个文件比可用的内存还要大。试图将整个JSON文件加载到内存中会导致内存错误。我知道Dask对于read_json有一些类似的参数(块大小使用字节而不是行)，但我无法使并行化正常工作。根据我对的</em
浏览 9提问于2022-09-01得票数 0
1回答
我在我的项目中使用了dask (2021.3.0)和rapids(0.18)。在这个过程中，我在CPU上执行预处理任务，然后将预处理后的数据传输到GPU进行K均值聚类。但在这个过程中，我遇到了以下问题：
1个工作任务中的1个失败: std::bad_alloc: CUDA错误: GPU内存不足(在完全使用~/envs/include/rmm/mr/device/cuda_me
浏览 9提问于2021-03-19得票数 0
1回答
我有一个跨不同文件的相当大的数据集，我使用dask读取这些文件，然后是一个机器学习任务，我想使用dask作为并行后端。我注意到，使用具有更多工作线程的客户端而不是具有多个线程的一个工作线程的客户端，读入文件的速度要快得多。但是，它们各自的内存份额太小，无法处理ML任务。因此，我希望将我的工作线程数更改为1，并尽可能多</
浏览 13提问于2020-08-21得票数 2
1回答
设置是我有8个大的csv文件(每个32 8GB )，这些文件都是用Zip压缩到8GB的。我无法处理未压缩的数据，因为我希望节省磁盘空间，并且没有32*8GB的空间。我不能用例如pandas加载一个文件，因为它不适合内存。
我认为达斯克对于这项任务来说是一个合理的选择，但是如果你认为它适合这个目的的话，你可以自由地建议一个不同的工具。是否可以通过并行读取压缩文件的多
浏览 0提问于2018-06-07得票数 3
回答已采纳
我有一个内存中可并行的小问题，但由于需要在进程之间来回发送大量数据，所以在常规的Python多处理(只有2xish)中不能提供很好的加速。希望达斯克能帮上忙。[key], key=key, n_jobs=n_jobs, **kwargs) for key, scdf in natsorted(scdf.groupby(grpby_key)))
但是，对于线程调度程序和多处理调度程序来说，dask代码要慢得多，内存消耗也要大得多。我希望
浏览 0提问于2018-07-04得票数 0
回答已采纳
我正在尝试使用dask编写一个网格搜索实用程序。目标函数调用一个包含大数据名的类的方法。我试图使用dask将计算并行化到一个多核心解决方案，而不必复制原始的类/数据。我没有在文档中找到任何解决方案，所以我在这里发布了一个玩具示例：from dask.distributed import Client, LocalCluster
from我注意到映射函数的每个迭代都使用test_instance的
浏览 0提问于2020-10-27得票数 2
回答已采纳
初始文件是一个不适合内存的csv。以下是我的需要：
首先，我把大csv文件分割成多个小的“地板”文件
浏览 0提问于2018-03-29得票数 2
1回答
我正在使用Dask处理数据集(考虑到它不适合内存)，我希望根据列和它的类型，使用不同的聚合函数对实例进行分组。}
ddf = ddf.groupby(
浏览 1提问于2018-09-03得票数 6
回答已采纳
1回答
我有多个dask数组，并希望每次使用imageio将它们保存为GIF或某种电影格式，但我认为这个问题足够普遍，解决方案可以帮助其他人。我想知道是否有一种方法来按顺序计算数组，在计算一个数组并将其写入磁盘时，开始计算剩下的工作人员上的下一个数组。如果可能的话，如果调度程序/图能够在dask数组之间共享任务(如果有的话)，那就太好了。在我看来，代码看起来是这样的：writer = Writer(.
浏览 0提问于2018-06-09得票数 2
回答已采纳
2回答
我想处理每个文件的数据分析，其中包括许多过滤和使用循环。我做了一个虚拟代码来测试这一点，每个文件大约需要4到5分钟。有什么办法让这个过程更快吗？达克能减少这一过程时间吗？
浏览 4提问于2022-02-17得票数 1
1回答
当保存到文件中时会崩溃吗？
、、、、
它似乎在处理小数据，而使用dask似乎适用于大型数据集，但当我试图保存文件时，我遇到了问题。我试过CSV和地板文件。我想保存结果，然后我可以在以后打开它块。import pandas as pdimport dask.dataframe as dddi
浏览 2提问于2020-12-30得票数 4
回答已采纳
在getitem方法中，我调用da.Array.compute方法(代码仍然处于非常早期的状态)，因此我可以迭代子数组的批处理。m2 = m[m.type==2]
它按预期工作，我得到切片数组，但结果是我有一个巨大的内存消耗，我假设在后台的机制是复制每个子dask数组的索引。我的问题是，在不使用这么多内存的情况下，如何实现同样的结果？(或者得到另一个我还没
浏览 1提问于2019-01-13得票数 1
1回答
我做了一个计时实验，我不相信我使用dask.delayed是正确的。195.71797474096我认为我没有正确地使用dask.delayed，对于较大的n_rows，计算的平均时间比其他方法要长。我预计dask.delayed的巨大优势会随着数据集的扩大而变得明
浏览 1提问于2020-09-22得票数 0
回答已采纳
我运行Windows 10与木星笔记本版本4.0.6与Python 2.7.10和Anaconda 2.4.0 (64位)from dask import dataframe]dd.compute(starbucks.name.count(), dunkin.name.count())
阅读类似的问题--这可能
浏览 0提问于2015-12-07得票数 1
freeze and no files get written
选择新的分区，以便每个分区中文件的总内存不超过1000 MB。但是，最后的to_parquet调用将永远挂起。在dask仪表板上，没有任何活动。所有工作人员消耗的内存仍然非常小(55 it )，至少在仪表板中是这样；但是我怀疑它可能只是没有更新，因为一切都变得非常慢。运行代码的python进程不断增加内存消耗( Mac中的</e
浏览 12提问于2022-03-15得票数 2
回答已采纳
2回答
我已经学习了如何实现共享内存作为两个用户模式进程之间的通信方法。但我很好奇如何实现内核-用户模式的通信。更新:例如，用户模式程序或内核模式驱动程序在内存中分配一个空间，并且都使用这个空间与指针进行通信。
浏览 9提问于2019-10-07得票数 2
回答已采纳
1回答
我一直在试用Dask，我需要了解字典在使用distributed.Client.get vs顺序调用时是如何变异的(通常的方式)。called'}print(dictionary) # {'foo': 'foo was called', 'bar': 'bar was called'}from dask.distributed imp
浏览 1提问于2021-03-22得票数 1
回答已采纳
长版
和一台只有大约200 and内存的机器。我正在尝试使用dask的LocalCluster来处理数据，但是我的工作人员很快就超出了他们的内存预算，即使我使用了一个相当小的子集，并且尝试使用基本操作，我也会被杀死。包含所有I的单个系列(这是我假设工作人员在计算nunique时也必须保存在内存中的内容)是关于90MB
浏览 0提问于2021-03-18得票数 2
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
