我启动了一个dask客户端，并通过循环向它发送任务。tasks.append(client.submit(process,allcars.get_group(order),allorders.get_group(order))) 任务完成后，列表中包含的93e68764db2995b23271abe5d531a5bf>, <Future: finished, type: pandas.DataFrame, key: process-04395a45d14a1ac440363d52379f5e55>] 在dask有没有办法让
浏览 11提问于2020-01-02得票数 0
回答已采纳
1回答
我有一个函数，可以有效地生成图像并存储到磁盘中。阅读完手册后，我已经组合了一个函数，该函数创建一个分布式(本地)客户端并通过几个进程执行任务，如下所示： from dask.distributed import Client as DaskClientfutures) # stop & release client
generate_images(50000) 如您所见，'futures‘在一个for循环中提交
浏览 8提问于2019-09-13得票数 1
回答已采纳
1回答
我有一个计算，由3个"map“步骤组成，最后一步取决于前两步的结果。我正在使用在多台PC上运行的dask.distributed执行此任务。def process(jobid):
e = Executor('{address}:{port}'.format一个dask-worker收到了执行create_list_3的任务，但其他dask</
浏览 5提问于2016-09-02得票数 1
回答已采纳
1回答
考虑如下所示的简单工作流：import time
futs = client.map(time.sleep, list(range(10)))
上面的代码将提交并几乎立即取消期货，因为上下文管理器将关闭。可以让上下文管理器保持打开状态，直到使用client.gather完成任务为止，但是这会阻塞当前进程中的进一步执行。这可能听起来有点反模式，但也许有办法在计算所有期货运行后
浏览 5提问于2021-03-12得票数 0
2回答
我一直在Dask字典中工作，但团队正在研究delayed。我需要将我的dsk{}转换为最后一步延迟的对象。团队正在做的事情：def add(x, y)step2 = add(step1, 3)client.submit(final)
然后，他们将使用最后一步延迟对象进一步</
浏览 10提问于2020-06-03得票数 1
1回答
如果该选项没有定义，我希望未来默默地失败，并且只对包含定义选项的期货进行进一步处理。我在中找不到任何解决这个问题的方法。使用finagle框架过滤和链接期货的替代解决方案仍将受到欢迎。
浏览 1提问于2019-02-27得票数 1
回答已采纳
我想将自定义函数应用于xarray.Dataset中的一个变量，只修改指定的变量。同时，我正在尝试制作dask计算图的这一部分，以便在使用to_netcdf读取到磁盘之前将其延迟。我知道我可能可以直接使用变量的名称(如Dataset.var )访问它，并将其传递给apply_ufunc()，但我不太明白如何在输出之前将该函数的输出(延迟的未来)与原始数据集重新组合。import xarray as xr
dask_clien
浏览 0提问于2019-07-13得票数 0
1回答
我目前正在尝试实现Dask的凸矩阵优化。目标是对内存不足的矩阵执行矩阵优化(因式分解)。以一个高矩阵为输入，两个高矩阵为输出，以及一些参数(如收敛性等)。我使用dask数组来分块我的原始矩阵和迭代中间/输出矩阵。最后，迭代是顺序的，前一次迭代的输出被用作新迭代的输入(参见下面的简单示例)。在每次迭代中，必须计算两个标准并检查其收敛性(最后的if语句)。Dask似乎没有意识到在前一次迭代中已经计算了A_hat和E_hat这一事实，然后从一开始重
浏览 16提问于2019-11-15得票数 1
2回答
Dask支持哪些分布式文件系统？具体来说，您可以从哪个文件系统中读取dask.dataframe？从Dask文档中，我可以看到HDFS当然是受支持的。是否支持任何其他分布式文件系统，如Ceph等？我可以在这里找到一些关于支持其他文件系统的想法的讨论：，但没有最后的结论，只是HDFS比其他选项“更糟糕”。
谢谢你的帮助!
浏览 3提问于2018-05-11得票数 3
回答已采纳
如果我得到的是正确的，锈蚀期货(如std-futures)在“准备状态”方法下实现：
由于一些最主要的不同之处在于，期货不会通过调用下一个任务，自动将其计算值传递到期货链的一个层次上。这就是为什么锈蚀期货比基于运行时的期货期货更有效。相反，应该由一系列任务中的最后一个接班人来触发所有前辈之
浏览 5提问于2020-04-26得票数 2
回答已采纳
我正在做一个基本的dask分发教程，并注意到了一个奇怪的行为。from dask.distributed import Client然后在我的笔记本中定义了以下功能
import
浏览 2提问于2021-01-08得票数 0
回答已采纳
1回答
因为如果任务需要很长时间我们的线程将一直处于繁忙状态，为了避免这种行为，我们可以将控制器的返回类型从String更改为Callable<String>或DefferedResult<String>，现在tomcat中的worker线程可以从ExecutorService执行到线程(我们在@Configuration类中配置)，更好的原因是tomcat线程可以处理其他请求，不会等待每个请求的执行。
浏览 1提问于2018-03-18得票数 2
回答已采纳
1回答
我一直在使用Dask Concurrent.futures ，但我在使用(过时的) 时遇到了一些问题。具体地说，使用位置索引将dask数据帧分成测试/训练拆分：test = dfs[-1]train = dfs.loc[:-1]编辑:创建指向Pandas数据帧的期货原始列表失败：e = Executor('52.91.1.177:数据帧，而不是指向P
浏览 13提问于2018-02-14得票数 4
我在使用Excel中的自定义数字格式功能来显示美国国债期货报价时遇到了一些问题。它们在中的显示格式为：相当于121 + 16.75/32121 + 16.5/32最后，如果最后一个数字是0，如121'
浏览 0提问于2010-11-15得票数 1
回答已采纳
我想从队列(如redis)中将数据追加到published dask dataset上。然后，其他python程序将能够获取最新的数据(例如每秒一次)并执行一些进一步的操作。
谢谢你的建议和建议。
浏览 0提问于2020-07-29得票数 3
看过演示文稿后，我很好奇地想知道Akka实现的期货和代理带来了哪些额外的功能。
浏览 0提问于2013-05-02得票数 3
回答已采纳
1回答
使用对接组合的本地dask集群
、、、、
/notebooks:/notebooks
build: command: ["dask-scheduler"]
build:
浏览 1提问于2020-06-12得票数 4
回答已采纳
1回答
首先，阅读这个问题：@dask.delayed return n+1
t_b = add(t_a)那么，如果其中一个任务失败或被窃取，并且运行了两次，那么哪个结果会传递到DAG中的下一个节点？感兴趣的人的进一步背景:出现这种情况的原因是我们
浏览 1提问于2019-12-19得票数 0
1回答
在jupyter笔记本中，我想在合并的数据集上运行一个带通过滤器，但是我总是遇到与内存分配有关的初始错误。会得到以下错误：在jupyter中，glob.glob(os.path.join(parent_dir, 'era5_' + var + '_daily.nc'))
# Read files into a <e
浏览 8提问于2022-07-22得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
