腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
dask
的
本地
调度
器
和
gevent
、
、
我正在使用distributed.Client进行一些
本地
计算。我还想从主线程产生一个
gevent
greenlet来做一些不相关
的
监控。使用
gevent
的
patch_all()方法,将把
本地
线程转换为greenlet。考虑到
调度
器
所做
的
大部分工作都是pandas/numpy,因此我怀疑它
的
大部分工作都会释放GIL,本机线程将会很有用。我担心用
gevent
对它们打补丁完全不是最优
的
浏览 4
提问于2017-02-28
得票数 1
回答已采纳
1
回答
如何将
dask
数据文件保存到与
dask
剪切
器
/工人相同
的
机器上?
、
、
我试图通过Dataframe保存到与
Dask
调度
程序/工作人员所在
的
同一台机器上。但是,我在这段时间里遇到了麻烦。My安装程序:我
的
python脚本在
本地
计算机(笔记本电脑16 GB RAM)上执行,但该脚本为运行在远程计算机上
的
Dask
调度
程序(用于并行计算
的
具有400 GB RAM
的
服务
器
)创建了
Dask
客户端
Dask
调度
程序<em
浏览 2
提问于2019-12-20
得票数 2
回答已采纳
1
回答
使用默认
调度
程序进行任务内存管理
、
、
、
我一直在尝试在一台
本地
机器上管理
Dask
的
内存使用情况。由于某些原因,默认
的
Dask
Client()
和
LocalCluster()
调度
器
似乎总是被破坏,但是
Dask
在没有指定
调度
器
的
情况下工作得很好,因此默认
调度
器
对我
的
目的最有效,但是我几乎没有找到关于这个默认
调度
器
的
文档
浏览 0
提问于2018-10-26
得票数 2
1
回答
在
本地
使用
Dask
时,是否需要初始化客户端?
、
、
我看过
Dask
教程,它们总是从客户端
的
初始化开始: from
dask
.distributed import Client df = dd.read_csv('trainset.csv').compute() 尽管设置了n
浏览 20
提问于2020-04-25
得票数 0
1
回答
具有需要
dask
计算关键字参数
的
函数
的
自定义
dask
图
、
如何使用需要关键字参数
的
函数来构造自定义
dask
图,而这些关键字参数是另一个
dask
任务
的
结果?
dask
文档
和
几个堆栈溢出问题建议使用partial、toolz或
dask
.compatibility.apply。所有这些解决方案都适用于静态关键字参数。我从以及对源代码
和
调试
器
的
一些阅读中了解到,
dask
.compatibility.apply可能能够处理作为
dask
计算结果
浏览 0
提问于2018-07-04
得票数 4
回答已采纳
1
回答
DASK
dataframe.to_csv将文件存储在worker上,而不是
本地
、
我是
DASK
的
新手,我正在尝试在私有云上建立一个分布式集群。现在,我在同一台机器上运行了
调度
器
和
一个工作程序,它们都运行在同一Docker容器中。它们分别从
dask
-scheduler
和
dask
-worker tcp://localhost:8786开始。 我正在从
本地
计算机连接到
调度
程序。相反,这些文件保存在
调度
程序/工作程序计算机上
的
/h
浏览 25
提问于2020-03-27
得票数 1
回答已采纳
1
回答
对s3工作人员进行ec2访问
、
、
(由
本地
python解释
器
,而不是工人),然后发送给工人(或者
调度
程序?)通过
本地
解释
器
,当工作人员接收到块时,他们运行计算并返回结果。无论是否通过storage_options传递密钥
和
秘密,都是一样
的
。s3fs是正确安装
的
,根据
dask
,这些是受支持
的
文件系统: >>>>
dask
.bytes.core.,它看起来像是从解释
器
上传到
调度
浏览 1
提问于2017-03-02
得票数 2
1
回答
如何使用
Dask
.array有效地向集群发送大型numpy数组
、
我
的
本地
机器上有一个大型
的
NumPy数组,我想在集群上与
Dask
.array并行。import numpy as np然而,当我使用
dask
.array时,我发现
调度
程序开始占用大量内存。import
dask
.array as da from
dask
.distributed
浏览 0
提问于2017-08-29
得票数 4
回答已采纳
1
回答
如何将
本地
分布式
调度
器
设置为
dask
.dataframe
的
默认
调度
器
?
、
我试图让
dask
.dataframe在默认情况下使用
本地
分布式
调度
器
,但我在阅读
Dask
文档时并不清楚如何做到这一点。下面这样
的
东西就足够了吗?from
dask
import distributedclient = distributed.Client(processes=True) # use multi processing
dask
.config.set(s
浏览 17
提问于2020-03-12
得票数 1
回答已采纳
1
回答
LocalCluster()是如何影响任务数量
的
?
、
、
计算(如
dask
方法dd.merge)是否需要在LocalCluster内部或外部进行?最终
的
计算(如.compute)是否需要在LocalCluster内部或外部进行?我
的
主要问题是-- LocalCluster()如何影响任务
的
数量? 我和我
的
同事注意到,将dd.merge放在LocalCLuster()之外会显着地降低任务
的
数量(比如10倍或类似的smth )。
浏览 4
提问于2020-10-16
得票数 0
1
回答
使用多个
Dask
调度
程序
、
我们使用
Dask
将计算任务分发到多个服务
器
。有1个
dask
-scheduler
和
5个
dask
-worker服务
器
。我
的
问题是:有没有办法可以使用多个
dask
-schedulers?我之所以这样问,是因为单
dask
调度
器
无法避免单点故障,有时,如果请求非常多,单
调度
器
可能会成为性能
的
瓶颈。 谢谢!
浏览 2
提问于2018-11-14
得票数 0
1
回答
Dask
调度
程序是否有效地占用了一个CPU核心?分配给
调度
程序
的
本地
资源是什么?
、
、
、
假设我有一台机器:每个核心2个线程1个CPU插座 在此检查之前,我可能会说,在默认情况下,
调度
程序被
浏览 9
提问于2020-03-21
得票数 1
3
回答
相当于Python
的
dask
、
、
R中是否有与Python
的
dask
相同
的
包?专门用于在一台机器上运行大于内存
的
数据集上
的
机器学习算法。链接到Python
的
Dask
页面:
Dask
为分析提供了高级
的
并行性,为您喜欢
的
工具提供了规模上
的
性能。达斯克
的
调度
器
已经在世界上一些最大
的
超级
浏览 1
提问于2018-06-27
得票数 13
1
回答
dask
.delayed对象
的
分布与计算
、
、
dask
.delayed对象是否通过
dask
在集群上分发? 另外,它
的
任务图
的
执行也分布在集群上吗?
浏览 1
提问于2018-06-30
得票数 1
1
回答
无法连接到
本地
调度
程序
的
本地
Dask
工作人员
、
在OSX10.12.6上运行
DASK
0.16.0时,我无法将
本地
dask
-worker连接到
本地
dask
-scheduler。我只想跟随官方
的
。复制步骤: 步骤2:运行
dask
-worker 10.160.39.103:8786这个问题似乎与
dask
调度
程序有关,而与工作人员无关,
浏览 8
提问于2018-01-02
得票数 3
回答已采纳
1
回答
无法按任务扩展群集
、
、
、
我是kubernetes &
dask
的
新手,正在尝试实现一些kube集群,并且已经创建了带有一些服务
的
minikube集群,进一步希望通过灵活
的
dask
功能来扩展它。我计划稍后以某种方式将其部署到gcloud,所以我尝试从一个pod中初始化
dask
集群(到我
的
minikube集群
的
调度
器
和
工作进程),使用带有python脚本
的
RBAC,但我
的
尝试没有成功
浏览 22
提问于2021-04-17
得票数 0
回答已采纳
2
回答
连接到现有的Kubernetes
Dask
集群
、
、
、
、
使用,我创建了一个
Dask
集群。
dask
01-worker-ccc-cccc 1/1 Running 0 3d19hfrom
dask
import distributed cluster = None # TODO: configure KubeCluster somehow https://kubernetes.<e
浏览 17
提问于2020-03-14
得票数 1
1
回答
Dask
是否与HDFS通信以优化数据局部性?
、
、
在
Dask
分布式中,它们具有以下信息: 例如,当我们与数据
本地
存储系统(如Hadoop )通信时,
Dask
开发人员使用这种能力构建数据局部性。当用户使用诸如
dask
.dataframe.read_csv('hdfs:///path/to/files.*.csv')
Dask
之类
的
高级函数到HDFS节点时,查找所有数据块
的
位置,并将该信息发送给
调度
程序,以便它能够做出更明智
的
浏览 1
提问于2019-02-07
得票数 2
回答已采纳
1
回答
建立小型
Dask
集群
、
、
、
为了更好地理解
Dask
,我决定设置一个小型
的
Dask
集群:两个服务
器
,32GB RAM
和
一个Mac。它们都是
本地
LAN
的
一部分,并且都在虚拟环境下运行相同版本
的
Python3.5+
Dask
。我在两个服务
器
上安装了sshfs,以便在工人之间共享数据。我在192.168.2.149
和
192.168.2.26启动了
dask
-
调度
程序。我需要帮助
的
是对
浏览 3
提问于2020-04-13
得票数 0
回答已采纳
1
回答
dask
.config.get什么都得不到吗?
、
有两个任务
调度
程序系列: 单机
调度
程序:此
调度
程序在
本地
进程或线程池上提供基本功能。此
调度
程序是首先创建
的
,是默认
的
。虽然它只能在一台机器上使用,而且不扩展分布式
调度
器
,但使用起来简单而廉价:这个
调度
器
更复杂,提供了更多
的
功能,但也需要更多
的
精力来设置。它可以在
本地
运行,也可以分布在集群中。>>> import
das
浏览 0
提问于2019-09-06
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
什么是Spark的调度器,它的调度模式有哪些?
GitHub的开源调度器GLB
什么是Azkaban的调度器(scheduler)?
学Python不得不掌握的库,gevent和asyncio使用方法详解
Go语言网络爬虫调度器的实现
热门
标签
更多标签
云服务器
ICP备案
对象存储
云直播
腾讯会议
活动推荐
运营活动
广告
关闭
领券