1回答
嗨，我有以下代码：现在，我正在处理~10_000行文本文件，这是一个很轻的负载。它只是每行一句话，被拆分成单词并进行比较。文件中的每一行和所有其他行。
浏览 19提问于2021-06-12得票数 1
1回答
# one line tabular data 使用dask来执行相同的任务，用户似乎应该尝试如下所示：import csv import dask.arraydefine columns
readcsvfile = csv.reader(csvfile) # read in file,
浏览 3提问于2016-10-09得票数 14
回答已采纳
1回答
我正在尝试一些dask.bag测试，以便为数百万个文本文件的大文本处理工作做好准备。现在，在我几十到数十万文本文件的测试集上，我看到dask的运行速度比一个直接的单线程文本处理功能慢5到6倍。有人能解释一下我在哪里能看到在大量文本文件上运行dask的速度好处吗？在文件变得更快之前，我需要处理多少个文件？15万个小文本文件是不是太少了？在处理文件时，我应该调整哪些性能参数以使
浏览 4提问于2016-10-19得票数 3
回答已采纳
2回答
我需要将dask.Bag of {'imgs': np.array(img_list), 'lables': np.array(label_list)}转换成两个独立的dask.Array-s。因为我正在通过map()多次处理这个包，所以没有对Array做同样的处理。
现在，下面的代码适用于小型数据集，但显然不能用于更大的数据。images_array = da.from_array(np.array([item['images'] for it
浏览 4提问于2017-11-28得票数 3
回答已采纳
1回答
我们从Dask获得的加速并不是很令人满意，所以我们仔细研究了在单个分区中的单个大项目(580MB的XML字符串)上的原始执行性能。")from dask.distributed import Clientbag = db.from_sequence([xml_string], npartitions=1)
浏览 22提问于2020-01-09得票数 0
1回答
我正在尝试将矩阵的平面文本文件(以制表符分隔)表示到dask数组中，使用distributed将数组的块分布到集群中。(旁白:这与PySpark的方法没有什么不同)matrix
浏览 1提问于2016-06-03得票数 1
回答已采纳
下面是我的测试代码： import numpy as npfrom dask.distributed import Client, LocalCluster# parallel computation
b我想知道为什么我们会看到这种情况，有什么建议的解决方案来加速</em
浏览 17提问于2021-08-25得票数 0
我使用dask来扩展dask包项目，其内容来自外部的、先前计算过的对象arg。在计算过程开始时，Dask似乎立即为每个分区分配arg内存。是否有解决办法来防止Dask多次复制arg (并分配大量内存)？下面是一个简化的示例：import pandas as pd y = x # map x t
浏览 11提问于2022-11-21得票数 1
回答已采纳
import dask.bag as dbaccuracies = seeds.map(lambda我查看了，并尝试打印accuracies.dask。
浏览 1提问于2017-02-03得票数 1
回答已采纳
1回答
理想情况下，这可以通过创建dask网格来完成，然后可以对其进行分块，然后使用多线程或多核处理将其映射到我们的成本函数。浏览一下dask文档，dask.array似乎没有包含任何合适的机制来实现这一点。有一个从numpy库扩展而来的dask.array.meshgrid函数，但它不支持分块。此外，dask.array似乎不包含并行化的map函数。但是，在dask.bag中有一个。但文档似乎表明，dask.bag仅用作对
浏览 10提问于2019-12-24得票数 0
回答已采纳
1回答
我想要一个使用案例，其中我有一个Dask分布式计算图，处理图像数据。图像是逐帧处理的，所以我假设每一帧都算作(至少)一个任务？
那么我可以推断出Dask集群的上限是每秒4000帧吗？
浏览 0提问于2019-08-07得票数 1
我正在使用一个dask包来处理从一组实验中收集的痕迹数据处理的并行化。每个实验的数据文件的路径都被转换为自定义对象，我对这种类型的数据执行的常见操作是对象方法。
浏览 7提问于2018-01-12得票数 0
回答已采纳
5回答
我有一个1.7GB的JSON文件，当我试图用json.load()打开时，它会产生内存错误，那么如何在python中读取JSON文件呢？编辑：，如果它只是一个大的对象数组，并且预先知道对象的结构，那么就没有必要使用工具，我们可以逐行读取它。一行将只包含数组的一个元素。我注意到json文件就是这样存储的，对我来说，它只是起作用了：... do something with(line)
浏览 6提问于2012-05-23得票数 13
函数scipy.stats.gaussian_kde需要很长时间，所以我想我可以使用dask (v0.15.2)来更快地得到结果。然而，我不确定我的方法是否真的得到了任何加速。下面是一个示例：from scipy.stats import gaussian_kde
xy = np.random.rand我是否正确地使用了dask？
浏览 1提问于2017-12-11得票数 0
回答已采纳
我正在尝试处理由新行分隔的大量文本文件。文件是压缩的，我已经将文件分割成小块，其中未压缩的文件大约是100 or左右。我有296个单独的压缩文件，总未压缩大小~30 of。行是，我使用Bag将行映射为可以导入数据库的格式。行正在按键折叠，这样我就可以将与单个页面相关的行组合起来。 n_quads_bag = dask.bag.\
read_text(
浏览 0提问于2018-12-09得票数 0
回答已采纳
3回答
没有使用所有的核心吗？其他选择？
、、、、
我通常处理的数据量约为4gggzip压缩，但有时我必须处理数百个gigs gzip压缩的数据。它不一定是大数据，但仍然不能全部在内存中处理，而且使用Python的GIL处理非常慢。在寻找优化数据处理的解决方案时，我遇到了达斯克。虽然PySpark当时似乎是我的明显解决方案，但达斯克的承诺和它的简单性赢得了我的青睐，我决定试一试。在对dask和如何使用它进行了大量的研究之后，我组装了一个非常小的脚本来复制我当前的过程。脚本如下所示：
import dask.bag
浏览 7提问于2015-12-03得票数 8
回答已采纳
1回答
Dask.bag提供了一种简单的方法来分发集群中的粒子，例如，为dask.bag.from_sequence()提供一个自定义迭代器，该迭代器返回粒子对象：
Dask.bag是
浏览 0提问于2016-10-25得票数 2
回答已采纳
1回答
对于dask.bag来说，退货/退货是合法的吗？import dask.bag as bag
.map(lambda letter: bag.from_sequence([f'{letter} - 1',
浏览 5提问于2020-10-04得票数 0
回答已采纳
在处理大型单个文件时，可以将其分解为：这很有效，但我正在处理的文件具有很高的冗余度，因此我们对它们进行压缩。xz')Traceback (most recent call last): data =
浏览 11提问于2017-02-10得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
