如何在非DRMAA批处理调度环境中使用Dask？
如何在非DRMAA批处理调度环境中使用Dask？
提问于 2017-03-13 04:22:29
我想使用dask-distributed，对于支持的算法和一般任务图执行都是如此。不幸的是，我们使用的批处理调度程序不支持DRMAA，所以我不能使用dask-drmaa。我们为所有主机提供了NFS。有没有办法开始使用Dask，或者我需要让批处理调度器支持DRMAA？
回答 1
Stack Overflow用户
发布于 2017-03-13 04:42:34
您可以使用批处理调度程序来运行dask-scheduler和dask-worker进程，这两个进程都是普通的python进程。因为您有一个共享的网络文件系统(NFS)，所以这应该特别容易。
使用批处理调度程序运行以下命令
dask-scheduler --scheduler-file /path/to/some/new-file.json还可以使用批处理调度程序多次运行以下命令
dask-worker --scheduler-file /path/to/some/new-file.json
dask-worker --scheduler-file /path/to/some/new-file.json
dask-worker --scheduler-file /path/to/some/new-file.json调度程序和工作程序将通过该文件协调它们的位置，并彼此同步。
然后，您可以使用以下命令从同一网络上的任何Python会话连接到此集群
>>> from dask.distributed import Client
>>> client = Client(scheduler_file='/path/to/some/new-file.json')欲了解更多信息，请点击此处：http://distributed.readthedocs.io/en/latest/setup.html#using-a-shared-network-file-system-and-a-job-scheduler。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42752657
复制相关文章
相似问题
腾讯云开发者
