将parquet文件上传到kubernetes集群以使用Dask进行处理后,我在尝试读取时得到一个FileNotFoundError df=dd.read_parquet('home/jovyan/foo.parquet我不确定这是否重要,但为了在kubernetes集群上启动dask客户端,我使用了以下代码: from dask.distributed import Client, p
我正在尝试使用Client.get方法计算远程集群中的dask自定义图,但我遇到了以下错误:AssertionError: daemonic processes are not allowed to havechildren
我意识到,dask图中的一个底层方法使用了一个进程池,这导致了这个错误的产生,因为dask自己也试图使用一个进程池。然而,不幸的是,如果我使用附加到远程集群的客户端,dask将不允许我传递process=Fals
在jupyter notebook中使用dask时,我发现它有奇怪的行为。因此,我启动了一个本地客户端,并为其提供了一个要执行的作业列表。我的真实代码有点复杂,所以我在这里给你举一个简单的例子: return x + 1
if __name2.代码运行并完成后( notebook中没有任何内容在运行),由dask创建的进程不会被终止(客户端</