1回答
我是一个使用dask的新手，我正在尝试理解如何利用dask多处理，而不是pathos多处理。令我惊讶的是，dask比pathos慢3-4倍。我显然做错了什么，希望能得到任何关于这方面的指导。下面是我试图设置一个简单的算术操作的代码：import pandas as pd,numpy
浏览 20提问于2020-02-11得票数 0
2回答
我试图在python (on )下运行并行进程。然后出现了泡菜错误，于是我转到了帕罗斯。我从复制了如何使用这些不同的选项
对于这样一个简单的例子，我知道并行处理比普通的串行代码要长。我检查了讨论，但不明白为什么pathos.pools要长得多，为什么我会有一个错误(不确定最后一个选项的性能会是什么)。我还尝试了一个简单的平方函数，为此，即使<
浏览 2提问于2018-02-26得票数 7
回答已采纳
我正在以编程方式处理我的SSAS Cube。我并行地处理维度(我自己管理对.Process()的并行调用)，一旦它们都完成了，我就并行地处理度量值组分区(再次自己管理并行性)。我唯一能看到的区别是，我正在并行地处理所有维度，然后并行处理所有度量组分区。如果在SSMS中右键单击“处理多个对象”，则在任何时候它似乎只并行地处理2(从指示进程尚未在除2
浏览 2提问于2015-08-07得票数 2
回答已采纳
我试图使用Dask来处理比内存更大的数据集，这些数据集存储在存储为NumPy文件的块中。我懒洋洋地加载数据： da.from_delayed( dtype=np.float32 for path, size in zip(shard_paths, shard_sizes)然后使用da.map
浏览 1提问于2022-07-24得票数 0
今天是我第一天在python中应用并行性。这是我构建的第一个示例。14 (2分14秒)
具有并行性的当我查看CPU使用情况时，它如下所示这清楚地表明，没有并行性，在所有CPU中都有更多的CPU使用量。我的问题是，如果没有<e
浏览 1提问于2021-04-18得票数 0
回答已采纳
2回答
我有一个包含n h5文件的目录，每个目录都有要过滤的m图像堆栈。对于每幅图像，我将使用dask并行阵列运行滤波(高斯和拉普拉斯)，以加快处理速度()。我将通过apply_parallel()函数在scikit-映像中使用dask数组。1) h5文件的顺序处理和用于dask<
浏览 6提问于2016-02-10得票数 2
回答已采纳
我有一个内存中可并行的小问题，但由于需要在进程之间来回发送大量数据，所以在常规的Python多处理(只有2xish)中不能提供很好的加速。希望达斯克能帮上忙。，dask代码要慢得多，内存消耗也要大得多。我希望dask可以用于并行任务，而不需要向其他进程发送东西。是否有一种通过使用共享内存来使用多个进程的方法？
它以更复杂的方式处理数据局
浏览 0提问于2018-07-04得票数 0
回答已采纳
我最近发现了一个旨在成为易于使用的并行处理模块的python模块。对我来说，最大的卖点是它可以和熊猫一起工作。在阅读了它的手册页面后，我找不到一种方法来完成这个微不足道的并行化任务：df.apply(func, axis = 1) # forpandas DF row applyddf.assign(A=lambda df: df.apply(func, axis=1)).comput
浏览 1提问于2015-07-12得票数 48
回答已采纳
sum_list fn: [0, 1, 2, 3, 4, 5, 6, 7, 8]for loop 8.7735116481781s可以把多处理方式看作是实现并行计算的一种方式吗？(counter, items)print('pool.map {}s'.format(time.time() - start))
此代码以多处理样式运行同一时间的使用者sum_list fn: [0, 1, 2, 3, 4, 5, 6
浏览 1提问于2019-09-06得票数 3
回答已采纳
1回答
我有一个python程序，它的工作方式如下：
我试图找到最简单的方法，因为如果将子进程分配给批处理文件中的python程序，那么子进程将不会自动使用多个节点。我尝试使用dask队列，但是这依赖于为每个工作人员创建一个批处理文件，这意味着我必须进行10 s批处理</
浏览 3提问于2019-04-09得票数 1
现在，我想在我的机器上使用多个线程来并行化丰富操作。我探索了很多解决方案，比如Dask，numba，但对我来说没有一个是直接的。
浏览 144提问于2021-05-09得票数 3
回答已采纳
1回答
我正在使用多个线程，这些线程正在处理分配给它们的文件段。性能相当不错，但如果我将其与Microsoft Media Foundation转码API进行比较，它仍然要慢得多。所以我去掉了音频帧的处理，所以只剩下IO访问了。但它仍然比MediaFoundation慢得多。所以我想知道为什么使用FileStream读出整个文件比使用MediaFoundation处理整个文件要慢<
浏览 3提问于2016-05-21得票数 0
3回答
没有使用所有的核心吗？其他选择？
、、、、
components.append(manipulate(ujson.loads(line)))这是可行的，但是由于python将其限制在服务器上的一个核心上，它非常慢，我通常处理的数据量约为4gggzip压缩，但有时我必须处理数百个gigs gzip压缩的数据。它不一定是大数据，但仍然不能全部在内存中处理，而且使用Python的GIL处理非常慢。在对dask和如何使用它进
浏览 7提问于2015-12-03得票数 8
回答已采纳
1回答
何时分割器应该停止分裂？
、、、、
我理解 --并行Stream的处理，如果只有几个条目，或者每个项目的处理速度很快，那么在单个线程中处理就会更快。
但是，对于是否存在类似的阈值，将问题分解成更小的块会适得其反？考虑一个比推进数组索引要复杂得多的拆分操作--例如，拆分一个按词汇顺序排列的多集排列。是否有惯例允许客户端在创建并行流时指定拆分的下限，具体取决于其使用者的复杂性？
浏览 1提问于2015-08-12得票数 12
回答已采纳
1回答
与dask并行比顺序编码慢。我想要并行化内部循环。else:
print(end - start) ret_val = calc_func(dataX, dataY)
return
浏览 0提问于2019-04-22得票数 0
1回答
我正在使用beam.io.ReadFromText处理文本文件中的数据。我能让Beam只用一个处理器读取我的文件吗？(没有并行化)对于这些情况还有其他最佳做法吗？
浏览 0提问于2018-02-18得票数 2
回答已采纳
1回答
在我看来，达斯克在使用时做的工作比需要的要多。如果我设置了一些数据，并且只希望得到结果操作的一个子集，df = dask.datasets.timeseries(partition_freq='2W').set_index('id').persist()达斯克似乎希望在计算
浏览 3提问于2021-10-07得票数 1
回答已采纳
如果必须以多种方式处理每个条目(io操作或注释)，则具有更好的并行性能和可伸缩性，因为可以使用多个使用者进行并行处理，而不存在争用。相反，如果必须仅以一种方式处理每个条目，则 (即本地存储条目和从其他线程窃取条目)具有更好的并行性能和可伸缩性，因为将条目分散到中断模式中的多个线程上会引起争用。(当涉及多个生产者(即)时，干扰模式是否仍然比其他无锁的多生产者多消费者队列(例如)快得多
浏览 7提问于2013-03-11得票数 11
回答已采纳
2回答
我编写了一个python程序，使用池启动并行进程(16)，以处理一些文件。在运行开始时，进程数保持为16，直到几乎所有文件都得到处理。然后，由于一些我不理解的原因，当只剩下几个文件时，一次只有一个进程运行，这使得处理时间比必要的要长得多。你能帮个忙吗？
浏览 0提问于2016-02-24得票数 1
1回答
我有一个跨不同文件的相当大的数据集，我使用dask读取这些文件，然后是一个机器学习任务，我想使用dask作为并行后端。我注意到，使用具有更多工作线程的客户端而不是具有多个线程的一个工作线程的客户端，读入文件的速度要快得多。但是，它们各自的内存份额太小，无法处理ML任务。因此，我希望将我的工作线程数更改为1，并尽可能多地将线程数分配给新的唯一工作线程。有没有办法做到这一点，而不完全杀死和重启我的客户？ 我查看了docs，但找不到任何有用
浏览 13提问于2020-08-21得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
