我想诊断一下使用dask进行多次访问时的文件系统性能。有人会有这样做的代码片段吗？
上下文:在HPC平台上工作时，我的sysadmin要求我迁移到一个新的文件系统，我怀疑它的性能相当差。我的工作流程涉及分布式dask、netcdf和zarr文件处理。
浏览 11提问于2020-05-08得票数 1
我正在用Dask做一个实验，这有点复杂，所以我不能真正提供代码片段。本实验使用只有一个线程('single-thread')的Dask线程调度器从单个hdf5文件加载一个大小约为5 5GB的数组，并使用dask数组的to_npy_stack方法将其写回到50个npy文件中读写都是在HDD上完成的，因此我选择使用一个线程。正如我们在下图中所看到的
浏览 14提问于2019-12-13得票数 0
1回答
我已经在我的Apple M1芯片MacBook Pro上成功地安装了带有conda的modindask，但是当我运行代码时，我得到了以下错误：dask 2022.5.0pandas
浏览 9提问于2022-05-20得票数 0
假设我正在设计一个工具，它可以将代码片段保存在PostgreSQL/MySQL数据库或文件系统中。我想搜索一下这些代码片段。使用像Sphinx这样的搜索引擎似乎不切实际，因为我们在搜索代码时需要代码的精确文本匹配。
grep和ack，一直都运行得很好，但将数据存储在数据库中会使大量数据在某些方面更易于管理。我想知道在目录树上递归运行grep的</
浏览 0提问于2011-05-08得票数 8
回答已采纳
插件应该在哪里缓存其可重用的结果？我知道有一些插件可以进行缓存。假设我不想使用插件。我发现依赖文件系统缓存结果很容易维护、诊断和性能。
有一个好<em
浏览 0提问于2012-06-15得票数 1
回答已采纳
1回答
Scikit--学习已经在一台机器上提供了Joblib的并行计算。client = Client()
我怎么才能从这开始？
浏览 2提问于2018-06-05得票数 3
回答已采纳
1回答
我在8核的机器上使用分布式调度器在本地运行dask。在初始化时，我看到：这看起来是正确的，但我被诊断中的任务流搞糊涂了(如下所示)：
我期望8行对应于8个工作者/核心，是不是不正确？谢谢我添加了我正在运行的代码：from dask.distributed import Client, progress
client
浏览 0提问于2018-11-14得票数 1
1回答
我所处的HPC环境中有集群、紧密耦合的互连和支持光泽的文件系统。我们一直在探索如何利用Dask不仅提供计算，而且充当一个分布式缓存，以加快我们的工作流。我们的专有数据格式是n维和规则的，我们编写了一个懒散的读取器，以传递给from_array/from_delayed方法。
我们在Dask集群中加载和持久化比内存更大的数据集时遇到了一些问题。使用hdf5的</em
浏览 0提问于2018-06-11得票数 2
回答已采纳
2回答
Dask支持哪些分布式文件系统？具体来说，您可以从哪个文件系统中读取dask.dataframe？从Dask文档中，我可以看到HDFS当然是受支持的。是否支持任何其他分布式文件系统，如Ceph等？我可以在这里找到一些关于支持其他文件系统的想法的讨论：，但没有最后的结论，只是HDFS比其他选项“更糟糕”。
谢谢你的帮助!
浏览 3提问于2018-05-11得票数 3
回答已采纳
1回答
所以基本上我想要的是并行运行ML流水线。我一直在使用scikit learn，我决定使用DaskGridSearchCV。对象，我希望尽可能多地利用所有可用的资源。因此，我开始尝试基于dask的文档的一些东西。首先，我尝试了dask.threaded和dask.multiprocessing，但它最终变得更慢，我不断得到：
/Library/Python/2.7/site-packages&#x
浏览 0提问于2017-05-08得票数 5
tqdm和dask都是python中令人惊奇的迭代包。虽然tqdm实现了所需的进度条，但dask实现了多线程平台，它们都可以减少迭代过程的沮丧。但是-我很难把两者结合在一起。例如，下面的代码在dask中使用tqdm.trange进度条实现延迟执行。问题是，由于delayed执行得很快，进度条立即结束，而真正的计算时间则是在compute部分期间完成的。from dask import delayed
浏览 3提问于2017-06-11得票数 8
回答已采纳
我已经开发了一个模型，它使用了几个大的三维数据集(1e7，10，1e5)，并在这些数据集的切片上进行数百万次读取(和数千次写入)调用。到目前为止，我找到的进行这些调用的最好工具是numpy.memmap，它允许将最少的数据保存在内存中，并允许干净的索引和非常快速的直接在硬盘上调用数据。numpy.memmmap的缺点似乎是性能参差不齐--读取数组片段的时间在两次调用之间可能会有两个
浏览 29提问于2020-10-14得票数 0
回答已采纳
下面是我的测试代码： import numpy as npfrom dask.distributed import Client, LocalClustertest_array = np.random.randn(2000000) 然后，我使用串行和并行计算来执行此工作流。但是对于使用dask.bag的并行计算
浏览 17提问于2021-08-25得票数 0
在我的网页空间中，我有一个包含10.0000张图片的文件夹。
如果我把它们组织在子文件夹中，性能会有什么不同吗？
浏览 0提问于2020-03-28得票数 1
回答已采纳
有没有一种方法可以使用Python包来模拟掩码数组，并考虑掩码进行计算，就像在Numpy中一样：mdata = np.ma.masked_where(data == value, data) 在软件包文档中，我只找到了dask.arrays此外，使用另一个数组进行切片似乎也是不可能的。因此，我找不到一种只对数组的一部分进行
浏览 0提问于2016-12-06得票数 1
我有一个熊猫数据帧，我想在其中进行正则表达式搜索：我假设这可以与Dask并行化，但它不会带来性能改进：ddf = dd.from_pandas(df, npartitions=8)
dask.config.set(scheduler=dask.multiprocessi
浏览 16提问于2019-10-31得票数 1
1回答
我正在尝试在一台高性能计算机(HPC)上使用dask-jobqueue。按照dask-jobqueue here的文档，我正在尝试使用以下代码将dask-jobqueue安装在HPC中的Jupyter Notebook的一个实例上： install dask-jobqueue-c conda-forge 但是我得到了以下错误： File "<ipython-input-10-ca
浏览 29提问于2020-07-12得票数 0
回答已采纳
1回答
如何在Dask中写入弹性数据库？
、、、、
如何在Dask中将计算后的数据写入Elastic DB？就像我需要SQL DB和Elasticsearch中的计算输出一样。
浏览 7提问于2019-11-13得票数 0
回答已采纳
在将一些代码从Pandas迁移到Dask时，我发现通过使用多列调用DataFrame.assign()来修改Dask数据帧与使用多个DataFrame.__setitem__() (也称为dataframe[x]=y)调用来修改它之间存在巨大的性能差异。使用导入对于定义如下的Dask数据帧：
dd = dask.data
浏览 3提问于2020-04-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
