最终的计算(如.compute)是否需要在LocalCluster内部或外部进行？
我的主要问题是-- LocalCluster()如何影响任务的数量？我和我的同事注意到，将dd.merge放在LocalCLuster()之外会显着地降低任务的数量(比如10倍或类似的smth )。原因是什么？
浏览 4提问于2020-10-16得票数 0
我试图让dask.dataframe在默认情况下使用本地分布式调度器，但我在阅读Dask文档时并不清楚如何做到这一点。下面这样的东西就足够了吗？
浏览 17提问于2020-03-12得票数 1
回答已采纳
1回答
我一直在尝试在一台本地机器上管理Dask的内存使用情况。由于某些原因，默认的Dask Client()和LocalCluster()调度器似乎总是被破坏，但是Dask在没有指定调度器的情况下工作得很好，因此默认调度器对我的目的最有效，但是我几乎没有找到关于这个默认调度器的文档，更不用说如何在它
浏览 0提问于2018-10-26得票数 2
我看过Dask教程，它们总是从客户端的初始化开始： from dask.distributed import Client
df = dd.read_csv('trainset.csv').compute() 尽管设置了n_workers=4，Dask在读取
浏览 20提问于2020-04-25得票数 0
1回答
我在8核的机器上使用分布式调度器在本地运行dask。在初始化时，我看到：这看起来是正确的，但我被诊断中的任务流搞糊涂了(如下所示)：
我期望8行对应于8个工作者/核心，是不是不正确？谢谢我添加了我正在运行的代码：from dask.distributed import Client, progress
client
浏览 0提问于2018-11-14得票数 1
1回答
我正在尝试使用Dask读取一个包含非常大的csv文件的文件夹(这些文件都可以放在内存中，它们非常大，但我有很多RAM) --我目前的解决方案如下：
df = dd.read_csv
浏览 3提问于2017-10-06得票数 2
我刚刚开始使用dask，我仍然对如何使用多个线程或使用集群来执行简单的熊猫任务感到困惑。df2 = dd.read_csv("file2.csv")
现在，假设我在我的笔记本电脑上运行这个，它有4个核心。，在您的笔记本上存在有共享内存<
浏览 4提问于2016-10-14得票数 6
回答已采纳
我正在使用Dask分布式调度程序，在本地运行一个调度程序和5个工作人员。我向delayed()提交了一个compute()任务列表。当任务数为20 (一个数字>>比工作人员数)并且每个任务至少需要15秒时，调度程序将开始重新运行某些任务(或多次并行执行任务)。我不会在任何地方设置pure=True (我相信默认设置是False)。除此之外，Dask图是微不足道的(任务之间没有依赖关系)。
仍然不确定这是一
浏览 2提问于2017-01-31得票数 5
回答已采纳
我有过在远程集群上运行并行作业，以及在一台本地机器上运行并行(parfor)作业的经验，但从未尝试过创建自己的集群。我访问了几台笔记本电脑/台式机/服务器(除了一台服务器之外，所有的都是root访问)，我想知道是否可以将它们全部(或部分)连接起来形成一个本地集群(总共大约有30个内核)。
浏览 4提问于2011-03-03得票数 4
回答已采纳
我已经设置了一个伪分布式模式集群设置。FIFO调度器以某种方式卡在中间，因此许多作业堆积起来，我通过cron使用调度器。现在，当我重新启动YARN资源管理器时，它在一段时间后被卡住，并且作业不断堆积。
有没有办法清空整个队列。或者，是不是我对hadoop调度的完全理解有缺陷。请帮帮忙。
浏览 1提问于2012-08-19得票数 2
1回答
问题Situationdask-scheduler --port 8786
当我启动调度程序时，一切都很好。当我启动工作人员容器时，它
浏览 0提问于2017-06-20得票数 0
回答已采纳
1回答
我如何指示dask使用分布式Client作为调度程序，从代码中从外部使用，例如通过一个环境变量？DASK_SCHEDULER=distribut
浏览 1提问于2019-04-17得票数 0
我制作了(本地主机:8080)
“调度器主”将如何将任务分配给其他节点.？？
浏览 1提问于2018-04-23得票数 0
我不清楚我需要在哪个地方设置调度器属性。localclustered
如何为本地调度程序设置属性和为群集调度程序设置其他属性？
浏览 1提问于2021-05-11得票数 0
2回答
按需调度
、、、
我有一个守护进程，它不断地为消息汇集一个AWS SQS队列，一旦它接收到消息，我需要一直增加可见性超时，直到消息被处理为止。我想设置一个“按需调度器”，它每隔大约X分钟增加消息的可见性超时时间，然后在消息处理后停止调度程序。
浏览 0提问于2016-08-11得票数 0
回答已采纳
1回答
我正在开发一个binderhub-based notebook来为我的库运行一些示例，它使用了dask和xarray。我发现在某些情况/计算中，线程化调度程序会挂起并停止处理。我知道分析，但由于它挂起了，我必须杀死它，我不确定这是不是一个可行的选择。我还通读了调试信息here，但日志记录信息似乎是针对分布式或多进程调度器的。计算最好在线程调度程序上运行，并且某些操作不是多进程安全的。notebook在<em
浏览 22提问于2019-04-13得票数 0
kubernetes的版本为1.2kube-调度程序的配置位于此路径上:/etc/kubernetes/调度程序。
浏览 2提问于2016-11-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
