我正在使用dask distributed。我有一个运行在AWS上的dask集群。如果工人是空闲的，我想关闭他们。如何找出dask worker是否空闲？我有权访问客户端 from xxxxxx.distributed.ecscluster import EcsCluster
from dask.distributed import Client
浏览 13提问于2021-04-30得票数 1
假设我有4个节点的dask集群，其中在node-1上运行dask-scheduler，在其余节点上运行dask-worker。我总共提交了5个长期运行的任务。但我不想等待dask-worker空闲，而是想启动一个新的worker，因为任务是长期运行的。
在dask中有什么方法可以做到这一点吗？
浏览 5提问于2018-01-25得票数 1
所以我的dask PBSCluster看起来是这样的：from dask_jobqueue import PBSCluster )client = Cl
浏览 0提问于2019-05-26得票数 1
开发人员是否应该通过发布大型数组来使用Dask作为数据库？如果是这样的话，建议的工作流应该做什么来增加ram Dask的访问权限(除了修改机器本身)？
浏览 4提问于2017-06-13得票数 0
回答已采纳
$ dask-worker --version是Dask和Dask共享相同的配置文件还是使用不同的配置文件？我不清楚是否有特定于Dask和Dask的配置变量。是否有Dask和Dask的有效配置变量列表？
Dask和Dask配置文件的正确位置在哪里？我不确定这个文件应该包含
浏览 0提问于2019-09-06得票数 0
回答已采纳
而不是Dask Workers。我尝试按如下方式修改values.yaml，以获得Dask CUDA workers而不是Dask Workers，但是worker pod能够启动。我已经按照官方说明在Kubernetes上的所有节点上安装了NVIDIA GPU，所以我不确定DASK需要看到什么才能创建Dask-Cuda-Workers。worker: image:
repository: &
浏览 24提问于2020-06-30得票数 0
我启动了几个EC2实例，并在conda中安装了dask，在各自的实例中启动了调度程序和worker，调度程序能够接收来自工作人员的连接。不幸的是，很清楚如何用新的标志来解决这个问题。- dask-worker
(dask-env) ubuntu@ip-172-30-3-63:~$ dask-worker --host <domain-worker>:8786 <domain-schedulerINFO -
浏览 0提问于2018-07-16得票数 2
回答已采纳
1回答
我正在使用Kubernetes和Helm在云资源上运行Dask集群和Jupyter笔记本服务器 我对Dask集群和Jupyter使用yaml文件，该文件最初取自https://docs.dask.org/en/latest/setup/kubernetes-helm.html apiVersion: v1worker:
replicas: 2 #number of workersVOLUME CLAIM // atta
浏览 33提问于2021-08-25得票数 1
在OSX10.12.6上运行DASK0.16.0时，我无法将本地dask-worker连接到本地dask-scheduler。我只想跟随官方的。复制步骤：
步骤2:运行dask-worker 10.160.39.103:8786这个问题似乎与dask调度程序有关，而与工作人员无关，
浏览 8提问于2018-01-02得票数 3
回答已采纳
在Dask分布中，我们如何选择每个工人的--nthreads和--nprocs？
浏览 0提问于2018-03-21得票数 26
回答已采纳
我使用以下代码创建了一个集群cluster = KubeCluster.from_yaml('worker.yaml')cluster.adapt(minimum=1, maximum=10)kind: Pod labels:
foo:args: [dask-worker, --nthreads, '4'
浏览 1提问于2020-02-01得票数 1
1回答
我们公司正在寻找一种并行计算解决方案，我们最终选择了DASK。我必须把它放到一个虚拟私有云中，但它是开源的，而且我没有这样做的经验。有没有人能建议如何在VPC上设置？
浏览 9提问于2020-01-25得票数 1
回答已采纳
1回答
我在达克上读到：
分布式系统是否只对客户端/服务器通信使用旋风，并有单独的进程/线程来运行dask任务？实际上，dask-worker有--nprocs和--nthreads参数，所以我希望是这样的。
如何<
浏览 3提问于2016-10-04得票数 4
回答已采纳
1回答
我在ClusterConfig options中找不到对worker资源的引用，我尝试了以下(as per this answer)，但似乎不起作用： def set_resources(dask_worker): return dask_worker.available_resources, dask_worker.total_resou
浏览 9提问于2021-09-23得票数 5
假设一个dask集群有一些CPU设备和一些GPU设备。每个设备运行一个单独的dask-worker。现在，问题是我如何发现dask-worker的底层设备是CPU或GPU。例如：-如果dask-worker在CPU设备上运行，我应该知道它在CPU上运行，或者如果dask-worker在GPU设备上运行，我应该以编程方式知道设备类型。
浏览 0提问于2018-04-19得票数 0
我在SLURM管理的集群上运行Dask。dask-ssh --nprocs 2 --nthreads 1 --scheduler-port 8786 --log-directory `pwd` --hostfile hostfile.="`hostname`:8786"export ARL_DASK_SCHEDULER=${scheduler}c=Client(scheduler_id)c.shutdo
浏览 1提问于2017-05-17得票数 3
2回答
使用，我创建了一个Dask集群。dask01-worker-ccc-cccc 1/1 Running 0 3d19hdask01-worker-eee-eeee 1/1 Running 0 3d19h我可以运行基本的<e
浏览 17提问于2020-03-14得票数 1
在我的Dask配置文件(即~.config/dask/yarn.yaml )中，我将worker环境变量设置为：cluster = YarnCluster(worker_env={"env_var": env_val})
其中，但此语句将覆盖~.config/dask
浏览 0提问于2019-08-16得票数 0
回答已采纳
我们正在使用dask来优化深度学习(DL)架构，方法是生成设计，然后将它们发送给dask工作人员，dask工作人员反过来使用pytorch进行培训。对于我们的原型，我们提交一个批处理作业，该作业分配92个节点，启动一个dask调度器和92个dask工作进程，每个节点有一个专门的工作进程。%p --tasks_per_rs 1 --cpu_per_rs 14 --gpu_per_rs 6 --rs_per_host 1 dask-worker --nthreads 1
浏览 2提问于2019-04-06得票数 3
我曾尝试在~/.config/dask/distributed.yaml和~/.config/dask/yarn.yaml中使用以下内容，import daskfrom dask_yarn import YarnCluster
log= lo
浏览 3提问于2019-08-23得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
