腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
一台
OSX
机器
上
运行
Dask
--
默认
情况下
是
并行
的
吗
?
python
、
dask
、
dask-distributed
我已经
在
OSX
Mojave
上
安装了
Dask
。
默认
情况下
是否
并行
执行计算?或者我需要更改一些设置? 我正在使用DataFrame应用编程接口。这对答案有影响
吗
? 我用pip安装
的
。这对答案有影响
吗
?
浏览 12
提问于2019-03-13
得票数 0
回答已采纳
1
回答
如何避免将
dask
任务内部任务提交给主调度程序
dask
、
dask-distributed
文档显示,
dask
.compute
在
dask
中
的
默认
行为
是
在
主调度程序
上
启动任务。 我
的
愿望
是
不启动主调度程序。我
的
任务
是
执行两个步骤:使用非python二进制文件处理复制到本地磁盘上
的
0.1-1.0TB数据,然后使用
dask
将数据转换并写入zarr存储。二进制文件
是
多线程
的
,我还想在本地使用多进程或多线程本地
浏览 5
提问于2020-02-11
得票数 1
回答已采纳
1
回答
在
本地使用
Dask
时,是否需要初始化客户端?
python
、
dask
、
dask-dataframe
我看过
Dask
教程,它们总是从客户端
的
初始化开始: from
dask
.distributed import Client df = dd.read_csv('
浏览 20
提问于2020-04-25
得票数 0
1
回答
在
什么
情况下
,我可以使用
Dask
而不是Apache?
python
、
pandas
、
apache-spark
、
dask
简单回答:
Dask
提供
并行
数组、数据帧、
机器
学习和自定义算法
浏览 4
提问于2016-08-10
得票数 101
1
回答
将一个数据帧拆分为多个数据帧,并对这些数据帧
并行
执行过程
python
、
multithreading
、
python-multiprocessing
此循环将基于唯一
的
组id创建数据帧。问题
是
,这段代码需要3天
的
时间才能
运行
,所以我想知道如何使用多进程
并行
来实现这一点。
浏览 1
提问于2018-01-31
得票数 0
1
回答
Dask
事件循环没有响应-工作没有
并行
化。
dask
、
dask-distributed
这是对这个
的
跟进.我现在尝试
在
AWS
上
的
多个EC2节点
上
运行
Dask
。 然后我启动了其他几台
机器
上
的
工人。从其他
机器
上
,我可以使用nc -zv ${HOST} ${PORT}访问调度程序,而工作人员在其他方面似乎能够连接到主计算机,工人
的
sysou
浏览 4
提问于2018-01-04
得票数 4
3
回答
相当于Python
的
dask
python
、
r
、
dask
R中是否有与Python
的
dask
相同
的
包?专门用于
在
一台
机器
上
运行
大于内存
的
数据集
上
的
机器
学习算法。链接到Python
的
Dask
页面:
Dask
为分析提供了高级
的
并行
性,为您喜欢
的
工具提供了规模
上</
浏览 1
提问于2018-06-27
得票数 13
2
回答
dask
能从csv文件中读取数据
吗
?
python
、
csv
、
pandas
、
dask
我正在将一个大
的
文本文件转换为hdf存储,希望能更快地访问数据。转换可以正常工作,但是从csv文件读取不是
并行
完成
的
。它真的很慢(
在
SSD上一个1 1GB
的
文本文件大约需要30分钟,所以我猜它不是IO绑定
的
)。df = ddf.read_c
浏览 3
提问于2016-10-18
得票数 29
回答已采纳
1
回答
在
PythonScriptStep中使用
Dask
群集
dask
、
azure-machine-learning-service
有没有可能让一个多节点
的
Dask
集群作为一个带有AML Pipeline
的
PythonScriptStep
的
计算?我们有一个使用featuretools
的
深度特征合成(dfs) (docs)
的
PythonScriptStep。ft.dfs()有一个允许
并行
化
的
参数n_jobs。当我们
在
一台
机器
上
运行
时,作业需要三个小时,并且
在
Dask</
浏览 12
提问于2020-08-08
得票数 4
回答已采纳
1
回答
在
什么
情况下
耶拿会变成平行
的
?
jena
、
tdb
我在内存三层存储中
运行
了对Jena TDB和Jena
的
查询,无论
是
在
一台
核心计算机上还是
在
一台
有16个CPU
的
机器
上
。我观察到,
在
16 16Cores
机器
中,Jena生成了许多线程来处理查询和推理操作。 所以我想知道,
在
默认
情况下
,耶拿
的
行为
是
平行
的
吗
?还是
浏览 2
提问于2014-02-04
得票数 0
回答已采纳
1
回答
Dask
调度程序是否有效地占用了一个CPU核心?分配给调度程序
的
本地资源是什么?
parallel-processing
、
scheduler
、
dask
、
worker
假设我有
一台
机器
:每个核心2个线程1个CPU插座 在此检查之前,我可能会说,
在
<e
浏览 9
提问于2020-03-21
得票数 1
1
回答
PyTorch:如何批量推理(
并行
推理)
pytorch
如何
并行
推理来加速那部分代码。我从进行推理
的
标准方法开始: with torch.no_grad(): inputs= inputs.to(device) output = output.to(device) 我研究过,唯一提到
并行
推理(
在
同
一台
机器
上
)
浏览 727
提问于2020-08-27
得票数 1
回答已采纳
1
回答
如何使用所有的cpu核心使用达克?
dask
、
dask-distributed
、
dask-delayed
我有一个35000排以上
的
熊猫系列。我想用达斯克让它更有效率。然而,我
的
达斯克代码和熊猫代码
是
同时采取
的
。最初
的
"ser“
是
熊猫系列,fun1和fun2
是
在
各个系列中执行模式匹配
的
基本功能。fun1).apply(fun2)ser = dd.from_pandas(ser, npartitions = 16)
在
检查cpu内核<
浏览 1
提问于2018-07-06
得票数 18
1
回答
dask
计算不能
并行
执行
python
、
concurrency
、
python-multiprocessing
、
dask
、
castra
我有一个json文件
的
目录,我正在尝试将其转换为
dask
DataFrame并将其保存到castra。共有200个文件,其中包含O(10**7)条json记录。import
dask
.dataframe as ddimport jsondf = js.to_dataframe() cs=df.to_castra("data
浏览 6
提问于2016-02-20
得票数 8
1
回答
无法连接到本地调度程序
的
本地
Dask
工作人员
dask
、
dask-distributed
在
OSX
10.12.6
上
运行
DASK
0.16.0时,我无法将本地
dask
-worker连接到本地
dask
-scheduler。我只想跟随官方
的
。复制步骤: 步骤2:
运行
dask
-worker 10.160.39.103:8786这个问题似乎与
dask
调度程序有关,而与工作人员无关,但是,该进程显然仍在
浏览 8
提问于2018-01-02
得票数 3
回答已采纳
1
回答
使用
默认
调度程序进行任务内存管理
python-2.7
、
parallel-processing
、
dask
、
dask-distributed
我一直
在
尝试
在
一台
本地
机器
上
管理
Dask
的
内存使用情况。由于某些原因,
默认
的
Dask
Client()和LocalCluster()调度器似乎总是被破坏,但是
Dask
在
没有指定调度器
的
情况下
工作得很好,因此
默认
调度器对我
的
目的最有效,但是我几乎没有找到关于这个
默认
调度器
的
文档
浏览 0
提问于2018-10-26
得票数 2
1
回答
如何使用java记录在selenium中启动
的
chrome浏览器会话
java
、
google-chrome
、
selenium
我们
在
同
一台
机器
上
使用TestNG
并行
运行
测试,目前我们得到了单个浏览器会话
的
屏幕截图,类似于我们需要单个浏览器会话
的
视频。那么有没有一种方法可以用java记录在selenium中启动
的
chrome浏览器会话呢?
运行
的
机器
是
'Windows‘(或) 'MAC
OSX
’
浏览 0
提问于2018-07-05
得票数 0
1
回答
缓存忽略可用内存参数。
caching
、
dask
我正在处理一个不适合内存
的
大数据集,因此缓存
是
唯一
的
选择。 如何有效地将其溢出
浏览 0
提问于2018-02-16
得票数 1
回答已采纳
2
回答
并行
和虚拟之间
的
区别是什么
virtualbox
、
parallels
正如标题所说,我
的
印象是使用Virtualbox或VMware之类
的
东西实际
上
是
并行
的
,但我被告知它们
是
不同
的
。当我寻找更多关于这方面的信息时,我迷失
在
一个解决方案中。有人能给我解释一下其中
的
区别
吗
?
浏览 0
提问于2013-03-04
得票数 0
回答已采纳
1
回答
基于
Dask
的
并行
学习
python-3.x
、
machine-learning
、
dask
Scikit--学习已经
在
一台
机器
上
提供了Joblib
的
并行
计算。client = Client() 我怎么才能从这开始?
浏览 2
提问于2018-06-05
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
处理数据,大数据甚至更大数据的 17 种策略
使用 Dask在Python 中进行并行计算
Python数据预处理:使用Dask和Numba并行化加速
如何只用一行代码让 Pandas 加速四倍?
如何只用一行代码让Pandas加速四倍?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券