在linux中,我试图在多进程但每个进程设置单线程的情况下使用dask本地集群,但到目前为止失败了: futures = [client.submit(do_work) for i in range(100)]实际上,dask我也尝试了nthreads=1 kwarg,但它也不起作用。
OTOH :878
随着我的数据集越来越大(因此分区的数量和大小也越来越大),我的分布式Dask集群中的工作人员最终会因为彼此之间的连接超时而失败。:
File "/path/to/my/code/venv/lib/python3.8/site-packages/distributed/comm/core.py", line 321, in conn