1回答
我正在使用distributed.Client进行一些本地计算。我还想从主线程产生一个gevent greenlet来做一些不相关的监控。使用gevent的patch_all()方法，将把本地线程转换为greenlet。考虑到调度器所做的大部分工作都是pandas/numpy，因此我怀疑它的大部分工作都会释放GIL，本机线程将会很有用。我担心用gevent对它们打补丁完全不是最优的
浏览 4提问于2017-02-28得票数 1
回答已采纳
我试图通过Dataframe保存到与Dask调度程序/工作人员所在的同一台机器上。但是，我在这段时间里遇到了麻烦。My安装程序：我的python脚本在本地计算机(笔记本电脑16 GB RAM)上执行，但该脚本为运行在远程计算机上的Dask调度程序(用于并行计算的具有400 GB RAM的服务器)创建了Dask客户端Dask调度程序<em
浏览 2提问于2019-12-20得票数 2
回答已采纳
1回答
我一直在尝试在一台本地机器上管理Dask的内存使用情况。由于某些原因，默认的Dask Client()和LocalCluster()调度器似乎总是被破坏，但是Dask在没有指定调度器的情况下工作得很好，因此默认调度器对我的目的最有效，但是我几乎没有找到关于这个默认调度器的文档
浏览 0提问于2018-10-26得票数 2
我看过Dask教程，它们总是从客户端的初始化开始： from dask.distributed import Client
df = dd.read_csv('trainset.csv').compute() 尽管设置了n
浏览 20提问于2020-04-25得票数 0
如何使用需要关键字参数的函数来构造自定义dask图，而这些关键字参数是另一个dask任务的结果？dask文档和几个堆栈溢出问题建议使用partial、toolz或dask.compatibility.apply。所有这些解决方案都适用于静态关键字参数。我从以及对源代码和调试器的一些阅读中了解到，dask.compatibility.apply可能能够处理作为dask计算结果
浏览 0提问于2018-07-04得票数 4
回答已采纳
我是DASK的新手，我正在尝试在私有云上建立一个分布式集群。现在，我在同一台机器上运行了调度器和一个工作程序，它们都运行在同一Docker容器中。它们分别从dask-scheduler和dask-worker tcp://localhost:8786开始。 我正在从本地计算机连接到调度程序。相反，这些文件保存在调度程序/工作程序计算机上的/h
浏览 25提问于2020-03-27得票数 1
回答已采纳
1回答
(由本地python解释器，而不是工人)，然后发送给工人(或者调度程序？)通过本地解释器，当工作人员接收到块时，他们运行计算并返回结果。无论是否通过storage_options传递密钥和秘密，都是一样的。s3fs是正确安装的，根据dask，这些是受支持的文件系统：
>>>> dask.bytes.core.，它看起来像是从解释器上传到调度
浏览 1提问于2017-03-02得票数 2
我的本地机器上有一个大型的NumPy数组，我想在集群上与Dask.array并行。import numpy as np然而，当我使用dask.array时，我发现调度程序开始占用大量内存。import dask.array as da
from dask.distributed
浏览 0提问于2017-08-29得票数 4
回答已采纳
我试图让dask.dataframe在默认情况下使用本地分布式调度器，但我在阅读Dask文档时并不清楚如何做到这一点。下面这样的东西就足够了吗？from dask import distributedclient = distributed.Client(processes=True) # use multi processing
dask.config.set(s
浏览 17提问于2020-03-12得票数 1
回答已采纳
计算(如dask方法dd.merge)是否需要在LocalCluster内部或外部进行？最终的计算(如.compute)是否需要在LocalCluster内部或外部进行？我的主要问题是-- LocalCluster()如何影响任务的数量？
我和我的同事注意到，将dd.merge放在LocalCLuster()之外会显着地降低任务的数量(比如10倍或类似的smth )。
浏览 4提问于2020-10-16得票数 0
1回答
我们使用Dask将计算任务分发到多个服务器。有1个dask-scheduler和5个dask-worker服务器。我的问题是:有没有办法可以使用多个dask-schedulers？我之所以这样问，是因为单dask调度器无法避免单点故障，有时，如果请求非常多，单调度器可能会成为性能的瓶颈。
谢谢!
浏览 2提问于2018-11-14得票数 0
假设我有一台机器：每个核心2个线程1个CPU插座
在此检查之前，我可能会说，在默认情况下，调度程序被
浏览 9提问于2020-03-21得票数 1
3回答
R中是否有与Python的dask相同的包？专门用于在一台机器上运行大于内存的数据集上的机器学习算法。链接到Python的Dask页面：Dask为分析提供了高级的并行性，为您喜欢的工具提供了规模上的性能。达斯克的调度器已经在世界上一些最大的超级
浏览 1提问于2018-06-27得票数 13
在OSX10.12.6上运行DASK0.16.0时，我无法将本地dask-worker连接到本地dask-scheduler。我只想跟随官方的。复制步骤：
步骤2:运行dask-worker 10.160.39.103:8786这个问题似乎与dask调度程序有关，而与工作人员无关，
浏览 8提问于2018-01-02得票数 3
回答已采纳
1回答
无法按任务扩展群集
、、、
我是kubernetes & dask的新手，正在尝试实现一些kube集群，并且已经创建了带有一些服务的minikube集群，进一步希望通过灵活的dask功能来扩展它。我计划稍后以某种方式将其部署到gcloud，所以我尝试从一个pod中初始化dask集群(到我的minikube集群的调度器和工作进程)，使用带有python脚本的RBAC，但我的尝试没有成功
浏览 22提问于2021-04-17得票数 0
回答已采纳
2回答
使用，我创建了一个Dask集群。dask01-worker-ccc-cccc 1/1 Running 0 3d19hfrom dask import distributed
cluster = None # TODO: configure KubeCluster somehow https://kubernetes.<e
浏览 17提问于2020-03-14得票数 1
在Dask分布式中，它们具有以下信息：
例如，当我们与数据本地存储系统(如Hadoop )通信时，Dask开发人员使用这种能力构建数据局部性。当用户使用诸如dask.dataframe.read_csv('hdfs:///path/to/files.*.csv') Dask之类的高级函数到HDFS节点时，查找所有数据块的位置，并将该信息发送给调度程序，以便它能够做出更明智的
浏览 1提问于2019-02-07得票数 2
回答已采纳
1回答
建立小型Dask集群
、、、
为了更好地理解Dask，我决定设置一个小型的Dask集群:两个服务器，32GB RAM和一个Mac。它们都是本地LAN的一部分，并且都在虚拟环境下运行相同版本的Python3.5+ Dask。我在两个服务器上安装了sshfs，以便在工人之间共享数据。我在192.168.2.149和192.168.2.26启动了dask-调度程序。我需要帮助的是对
浏览 3提问于2020-04-13得票数 0
回答已采纳
有两个任务调度程序系列：
单机调度程序:此调度程序在本地进程或线程池上提供基本功能。此调度程序是首先创建的，是默认的。虽然它只能在一台机器上使用，而且不扩展分布式调度器，但使用起来简单而廉价:这个调度器更复杂，提供了更多的功能，但也需要更多的精力来设置。它可以在本地运行，也可以分布在集群中。>>> import das
浏览 0提问于2019-09-06得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
