在Node1 (4CPU、8 8GB)上启动任务调度程序： 任务调度器：dask-scheduler --host 0.0.0.0 --port 8786 在Node2(8CPU，32 on )和Node3import pandas as pd
THREADS_PER_WORKER = 2
dask_clusterf'results-str1s-{idx}-*.csv'
浏览 16提问于2020-09-16得票数 0
我完全被困住了，所以我正在寻求善意的建议。我的目标是并行读取多个hdf5文件，提取内部的多个模糊数组，并将每个数组存储在一个dataframe的一行，准确地说是一个单元格中。我想要创建一个dataframe，其中每个2d数组(从hdfs中的n个暗数组中提取)都存储在dataframe的一个单元格中。因此，行数对应于在所有文件中找到的总数组数，在这里9。我将数组存储在</em
浏览 0提问于2021-09-30得票数 1
回答已采纳
2回答
tl;drdata.loc[data[column].lt(value)].to_parquet(path)让我们首先创建一些要处理的示例数据import pandas as pd
df = pd.DataFrame当然，我的问题<e
浏览 4提问于2021-03-22得票数 1
回答已采纳
我正在尝试执行一些不适合GPU的代码(这也会发生在我的CPU内存中，我们的数据通常存储为zarr数组)，我不确定我如何使用Dask来做到这一点。我发现了这个图形处理器，我正在遵循类似的策略，但我收到了几个警告，distributed.worker - WARNING - Memory use is high but worker has noProcess memory: 12.85 GiB -- Worker memory limit: 7.45 G
浏览 0提问于2021-05-08得票数 0
我正在处理相当多的数据，大部分时间都花在加载数据和解析json/任何东西上。我想使用一次扫描来收集整个数据集的简单统计数据。我曾希望我可以通过以下模式在计算中使用图形简化：example_stat_future = parsed.map(foo)parsed.map(bar).sum()example_stat, another_stat = comp
浏览 4提问于2017-02-21得票数 1
1回答
基于streamz ，可以通过以下方式利用dask分布式集群：client = Client('tcp://localhost:8786') # Connect to scheduler that has distributed workers
source = Stream().sink(write)) # call write locally
for x in rang
浏览 4提问于2018-10-02得票数 2
回答已采纳
1回答
是否有一种方法只将对象加载到内存中，并让工作人员同时使用该对象？我有两个Dask系列Source_list和Pattern_list，分别包含700万和300万字符串。我试图从Source_list (3M)中找到Source_list (7M)中的所有子字符串匹配。**Threads** distributed.worker -警告-内存使用率很高，但是工作人员没有数据可以存储到磁盘。进程内存:14.5GB
浏览 0提问于2019-02-09得票数 3
我正在尝试使用dask来处理一些ML项目中的大型数据集。将单独的CSV文件加载到dask数据帧中工作正常。当我尝试使用多个CSV文件时，任何类似“计算”的操作都会导致程序无限期挂起。这运行得很好 import dask.dataframe as ddimport dask
from dask.distributed imp
浏览 11提问于2019-12-12得票数 0
我想使用分布在许多节点上的多个GPU来使用3 在中的一个非常大的数据集上训练一个模型。数据集大小超过VRAM和RAM大小时，持久化到达克，但舒适适合在磁盘上。但是， (至少在默认情况下)。所有数据预处理都已经处理过(一种使用np.bool数据类型的热编码)，人们可以假设我在其他地方拥有最有效的数据类型(例如，对
浏览 1提问于2020-07-02得票数 2
1回答
我试图用dask加载数据集，但是当计算数据集的时候，我总是遇到这样的问题：
if __name__ == '__main__':
libmarket.config.client = Client() # use dask.distributedby d
浏览 4提问于2018-12-26得票数 19
我无法使用分布式集群处理这个块。val = base_encod + compare_encod return save_val
我能不能用延迟的方法来模仿这个熊猫DF的循环迭代，并使用集群中的多台计算机来进行计算。dask.<
浏览 4提问于2019-11-30得票数 1
回答已采纳
1回答
如何读取数据并删除坏行
、、、、
我试图使用dask聚合一个包含多行坏数据的大型(66 of )数据库。导入dask.dataframe作为dd从dask.distributed导入客户端导入熊猫
#Groups the ave
浏览 2提问于2020-02-21得票数 1
1回答
如何取消和重新提交停滞的任务？
、、、、
我经常会遇到这样一个问题: Dask在几个任务上随机停顿，通常与我网络上不同节点的数据读取有关(下面是更详细的信息)。在没有问题的情况下运行脚本几个小时后就会发生这种情况。它将无限期挂在下面所示的表单中(否则，这个循环需要几秒钟的时间完成)：在这种情况下，我看到只有少数停滞的进程，它们都位于一个特定的节点上(192.168.0.228)：
此节点上的</e
浏览 4提问于2019-11-13得票数 3
回答已采纳
2回答
我想处理每个文件的数据分析，其中包括许多过滤和使用循环。我做了一个虚拟代码来测试这一点，每个文件大约需要4到5分钟。有什么办法让这个过程更快吗？达克能减少这一过程时间吗？
浏览 4提问于2022-02-17得票数 1
1回答
我实现了一个映射函数，它将字符串解析为XML树，遍历该树并提取一些信息。很多if-then-else的东西，没有额外的IO代码。我们从Dask获得的加速并不是很令人满意，所以我们仔细研究了在单个分区中的单个大项目(580MB的XML字符串)上的原始执行性能。")from dask.distributed imp
浏览 22提问于2020-01-09得票数 0
文档显示，dask.compute在dask中的默认行为是在主调度程序上启动任务。
我的愿望是不启动主调度程序。我的任务是执行两个步骤:使用非python二进制文件处理复制到本地磁盘上的0.1-1.0TB数据，然后使用dask将数据转换并写入zarr存储。二进制文件是多线程的，我还想在本地使用多进程或多线程本地方式的</
浏览 5提问于2020-02-11得票数 1
回答已采纳
pd.options.mode.chained_assignment = None我尝试过多种组合使用本地网络的工作人员、线程和可用内存、可用storage_memory现在我可以用dask加载csv，并应用一些
浏览 2提问于2020-06-08得票数 0
2回答
我在我的jupyter笔记本中创建了第一个集群：cluster = LocalCluster(name='clus1',n_workers=1,dashboard_address='localhost:8789')然后用熊猫阅读我的数据。并做了一些预处理。
在那
浏览 4提问于2022-07-11得票数 0
我正在朱庇特笔记本上运行一个连接任务，这个任务正在产生许多来自达斯克的警告，关于可能的内存泄漏，最后由于一个被杀的工作人员错误而失败：
2022-07-26 21:38:05,726 - distributed.worker_memoryThis may indicate a memory leak or the memory may not be released to the OS; see https://distributed.dask.org也许我没有为环境
浏览 13提问于2022-07-27得票数 0
我一直在使用dask对多个csv文件执行数据清理。下面的代码运行良好：import globfrom timeit import default_timercols_to_keep = ["barcode", "
浏览 7提问于2018-08-08得票数 1
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
