我有一个用c编写并用ctypes包装的函数interpolate_to_particles。我想使用dask.delayed对此函数进行一系列调用。模式的分布式调度 # Interpolate w/ daskclient = Client()result_c = result.compute(scheduler='single-threaded&#
浏览 19提问于2020-04-07得票数 2
如何使用需要关键字参数的函数来构造自定义dask图，而这些关键字参数是另一个dask任务的结果？我从以及对源代码和调试器的一些阅读中了解到，dask.compatibility.apply可能能够处理作为dask计算结果的关键字参数。然而，我似乎无法正确地理解语法，也无法在其他地方找到答案。下面的示例展示了一个相对简单的dask.compatibility.apply应用程序，其中包含一个dask计算关键字值。Dask成功地传递了计算出来的args 'a&#x
浏览 0提问于2018-07-04得票数 4
回答已采纳
2回答
然而，当我嵌套了dask.compute，并且内部的dask.compute执行I/O (如dask.dataframe.read_parquet)时，内部的and不是阻塞的。$sched_file --nprocs 8 --nthreads 1
，那么我预计最多会有2 x 8个并发文件运行，因为inner_func (Inner_func).compute()应该是阻塞的。这是预期的行为吗？如果是这样，有没有办法强制每个工作进程使用一个inner_func(文件).compute()？
浏览 11提问于2017-08-10得票数 0
1回答
我试图使用这样的方式来使用dask分发来并行一个嵌套循环：def delayed_a(e): returnsomething
def delayed_b(element): for e in element:computations, scheduler='distributed',
num_
浏览 1提问于2019-03-10得票数 0
回答已采纳
1回答
我们有一个由许多任务组成的大型项目。我们使用一个dask图来安排每个任务。图的一个小样本如下所示。请注意，dask被设置为多处理模式。 universe: !!，raw_fundamental_data，懒洋洋地安排使用@delay的dask任务，并使用dask.compute()运行它们。这种设计选择的原因是dask在raw_fundamental_data中计划和延迟运行的任务列表是根据运行时参数在运行时动态选择的。
浏览 5提问于2017-01-17得票数 4
0回答
我正在dask中构建一个非常大的DAG，以提交给分布式调度器，在分布式调度器中，节点操作数据帧，而数据帧本身可能非常大。我像这样链接任务：dfs = [dask.delayed(pandas_to_dask)(df) for df in dfs]
浏览 6提问于2017-06-07得票数 4
我正在使用分布式调度程序和分布式进度条。是否有办法让进度条工作为Dataframe.map_partition或延迟？我认为缺乏期货是导致酒吧不起作用的原因。ddf = ddf.map_partitions(..)dask.compute(ddf)
浏览 3提问于2020-12-01得票数 2
回答已采纳
1回答
为了在一个循环中运行这个函数300次，我实现了： source = xr.opendataset()for i in range (0,300): return( start_date,str(e))for i in range (0,10):
task = dask.delayed，但与顺序循环相比，所需的时间太长(508毫秒
浏览 8提问于2020-07-20得票数 1
回答已采纳
我试图通过Dataframe保存到与Dask调度程序/工作人员所在的同一台机器上。但是，我在这段时间里遇到了麻烦。My安装程序：我的python脚本在本地计算机(笔记本电脑16 GB RAM)上执行，但该脚本为运行在远程计算机上的Dask调度程序(用于并行计算的具有400 GB RAM的服务器)创建了Dask客户端Dask调度程序和工作人员都位于同一台服
浏览 2提问于2019-12-20得票数 2
回答已采纳
1回答
我有一个简单的dask工作流。当我打印出来时，它看起来是这样的： 'a_task': (<function a_func at 0x7f1dc5ded598>,), 基本上，我可以嵌套dask工作流，或者这是个坏主意吗？我不知道这是否会使dask.threaded.get以外的事情变得复杂，但也许它会产生不同的效果。我猜这意味着其中一个wo
浏览 0提问于2018-12-06得票数 1
回答已采纳
我被困在一个奇怪的地方。我有一堆延迟的函数调用，我想以特定的顺序执行它们。而并行执行是微不足道的： res = client.compute([myfuncs])from time import sleep
from dask import"whaat&
浏览 22提问于2019-02-07得票数 0
回答已采纳
1回答
如何使用已经设置好的dask分布式集群并行运行它们？/script3.sh']
run_func = dask.delayed(os.systemconnection alive, do not exit pythonwhile True:但是，对于这种情况，如果客户端可以断开连接而不导致调度程序取消作业，这
浏览 0提问于2018-03-29得票数 4
回答已采纳
1回答
def countdown(n): n -= 1with Pool(2) as p:需要2.46秒，这是一个很好的并行化然后，我测试了dask进程调度器并行化。l=[dask.delayed(countdown)(50000000),dask.de
浏览 1提问于2021-08-03得票数 1
我正在努力将字典的dask.bag转换为dask.delayed pandas.DataFrames，使之成为最终的dask.dataframe下面的示例展示了我使用简化函数<e
浏览 3提问于2019-03-22得票数 5
回答已采纳
在这里，我设置了传递给to_parquet的“主”文件夹的模式，使文件夹权限为drwxrws--- (由ls -la显示)，但是创建的partition_on文件夹具有文件夹权限drwxr-sr-x。，因为我需要在Dask调度程序/工作人员所在的同一台远程机器上保存拼花文件。我希望设置文件夹权限，因为我的Dask调度程序/工作人员使用的是与我的用户相同的
浏览 2提问于2019-12-18得票数 1
回答已采纳
我拥有的数据规模不太可能使DataFrame合并成功--以前的尝试已经导致过多的数据洗牌、调度程序上的内存错误和工作人员中的通信超时，甚至包括索引、分区、工作人员的重要计数、总内存等等。我们目前正在dask.delayed函数中这样做。这显然需要大量磁盘I/O。
Dask延迟最佳实践()警告不要发送DataFrame延迟，不要调用延迟形式延迟，并告诉我们在分布式场景中避免全局状态。这些最佳实践让我相信，没有一种安全的
浏览 2提问于2021-09-20得票数 1
回答已采纳
我正在运行长时间运行的dask.delayed()作业(使用子进程来运行外部二进制文件来处理大文件)，并且由于所有工作进程都失去了它们的调度程序通信而取消了未来： distributed.worker- WARNING - Heartbeat to scheduler failed 调度器说： distributed.core - INFO - Event loop was unresponsive据我所知，调度器本身并不运行我的任何python代码.
浏览 91提问于2019-02-19得票数 1
1回答
我看不到一种让调度器忘记以前在执行的dask图中使用的键的方法。最小示例： raise KeyError()
client.get((dsk, 'A') # still raises KeyError, but:
client.get(d
浏览 0提问于2018-03-08得票数 1
有两个任务调度程序系列：
单机调度程序:此调度程序在本地进程或线程池上提供基本功能。此调度程序是首先创建的，是默认的。虽然它只能在一台机器上使用，而且不扩展分布式调度器，但使用起来简单而廉价:这个调度器更复杂，提供了更多的功能，但也需要更多的精力来设置。它可以在本地运行，也可以分布在集群中。dask.config.get(&#
浏览 0提问于2019-09-06得票数 1
这个任务可以在我的一些API中手动执行， 我总是希望这个任务的间隔是5分钟。例如，如果该任务在8:00自动执行， 在8:01，我第二次执行了这个任务， 现在我希望下一次芹菜自动运行的时间是8:06。 那么有没有办法在芹菜中做到这一点呢？
浏览 12提问于2020-08-21得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
