腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
Dask
数组
中
选取
大量
切片
的
最佳
方法
dask
、
dask-distributed
我正在使用
Dask
数组
生成分布在几个节点中
的
大型(65kx65kx3) 3D信号。在下一步
中
,我需要使用存储在
Dask
包
中
的
切片
从这个
数组
中提取几千个瓦片。我
的
代码如下所示: import
dask
.array as dafrom
dask
.distributed import Client def pick_til
浏览 16
提问于2020-01-15
得票数 1
3
回答
使用经纬度坐标
从
卫星图像
中
获取最近
的
像素值
python
、
gis
、
netcdf
、
python-xarray
、
satellite-image
加载到
dask
数组
中
。我想获取感兴趣
的
纬度、经度
的
像素值(最近
的
)。from satpy import Sceneimport os 我在
浏览 35
提问于2021-03-02
得票数 1
回答已采纳
5
回答
存储多维
数组
/张量
的
最佳
方法
scala
我正在尝试在scala
中
创建一个张量(可以被认为是一个多维
数组
)包。有没有存储多维
数组
的
最佳
方法
?如果不是,比如一维
数组
是最好
的
解决方案,那么如何对
数组
进行
最佳
切片
(一些具体
的
代码会对我有很大帮助)?
浏览 1
提问于2011-08-02
得票数 4
回答已采纳
1
回答
使用
dask
和多进程优化内存使用
python
、
pandas
、
multiprocessing
、
dask
我使用
dask
来处理来自许多参数变化
的
数据,在这些参数
中
,我
的
目标是
从
由小于2000
的
形状
的
小
数组
构造
的
dask
数组
的
操作
中
,生成一个60万(案例或列
的
数目)
的
最终
dask
数据。:我正在使用池星图来加速8核CPU
的
操作,并将结果放入一个
dask
数组
中
浏览 2
提问于2021-03-10
得票数 1
回答已采纳
1
回答
SatPy一次加载所有通道
python
、
gis
、
satpy
我有一个场景对象,我想把所有的通道加载到一个数字
数组
的
形状(24,24,3)。其中3是频道
的
数目。是否有一种
方法
可以得到带一行
的
堆叠
的
数字
数组
。 这需要5秒为每个框,我有许多文件,它将需要非常长
的
时间来做相同
的
操作,在一个图像
中
的
多个框,多个图像。
浏览 8
提问于2022-04-05
得票数 2
回答已采纳
1
回答
有没有可能序列化xarray DataArray,它包含指向文件
的
延迟
dask
数组
数据?
python
、
serialization
、
deserialization
、
dask
、
python-xarray
我已经
从
多个源hdf5文件构建了一个巨大
的
dask
数组
。, "r")然后,我将
dask
数组
中
的
(惰性)
切片
排列到一个xarray数据集中# Note: In reality, xr_data a
浏览 1
提问于2019-12-18
得票数 2
1
回答
创建分布式
dask
数组
python
、
distributed
、
dask
我感兴趣
的
是
从
我所拥有的一堆netcdf文件
中
创建一个分布式
的
dask
数组
。我从中概述
的
路径开始,但被“distributed.collections”
的
贬义所困扰。现在创建分布式
dask
数组
的
最佳
方法
是什么?我有我
的
达克调度程序和达克工作任务正在运行。
浏览 5
提问于2017-09-15
得票数 1
回答已采纳
1
回答
使用xarray将zarr文件转换为netcdf,导致内存分配错误。
python
、
memory-leaks
、
netcdf
、
python-xarray
、
zarr
我
的
电脑有32‘t
的
内存,所以写5.5GB
的
块应该不是问题。然而,在运行此脚本后
的
几秒钟内,我
的
内存使用量很快就超过了可用
的
~20 my,脚本就失败了。资料来源:至zarr文件,包含美国2014年6月28日
的
雷达降雨数据,总数约为1.8GB。MemoryError: Unable to allocate 5.48 GiB for an array with shape (30, 3500, 7000) and data type float64
das
浏览 14
提问于2022-08-17
得票数 1
回答已采纳
1
回答
任务调度程序为空/未显示图形
python
、
dask
、
dask-distributed
、
dask-delayed
我
的
设置如下:from
dask
.distributed import Clientfrom tasks import task1, task2, task3*args) out.compute() 这个逻辑是
从
luigi借用
的
,可以很好地与if语句配合使用,以控制要运行
的
任务然而,一些任务
从
SQL加载
大量
浏览 3
提问于2020-11-19
得票数 0
1
回答
写入xarray数据集要比读取它慢得多?
python
、
geospatial
、
netcdf
、
python-xarray
包含这些文件
的
目录
的
总大小约为750 Mb。在这里,我比较了使用xr.open_dataset和xr.open_mfdataset读写单个文件
的
情况。ds_sel = ds_all.isel(time=1)Wall time: 19.6 msCPU times: user 3.89 s, sys: 11.9 ms,
浏览 25
提问于2022-08-05
得票数 1
回答已采纳
1
回答
迭代看似相同
的
dask
数组
需要不同
的
时间。
python
、
dask
我试图读取混合文件(npy,csv等)
的
未知大小使用达斯克。文件将被转换为
数组
,并在进行一些涉及
切片
的
操作之前合并为一个
数组
。 使用
dask
.dataframe.read_
浏览 3
提问于2019-12-11
得票数 0
回答已采纳
1
回答
如何处理并行返回大结果
的
小数据帧
pandas
、
dataframe
、
parallel-processing
、
multiprocessing
、
dask
我有一个大约6000万行
的
Pandas DataFrame。前60行对应于第一组,依此类推。这些组
中
的
每一个都需要并行处理,并且每个组返回一个大于4 4GB
的
NumPy
数组
。显然,
Dask
不能很好地处理大型任务图。 为了避免使用大型任务图,我将函数替换为使用大型数据帧(包含多个组)并在函数
中
处理该数据帧
的
每个组
的
函数(类似于multiprocessing
方法
)。然而,再一次,大多数进程大部分时间都处于休眠状态,我无法
浏览 28
提问于2021-03-11
得票数 1
1
回答
将numpy解决方案转换为
dask
(numpy索引在
dask
中
不起作用)
python
、
numpy
、
dask
、
dask-distributed
我正在尝试将蒙特卡罗模拟
从
numpy转换为
dask
,因为有时
数组
太大,无法进入内存。因此,我在云中设置了一个计算机集群:我
的
dask
集群由24个核心和94 GB内存组成。因此,这个
数组
的
最后一个shape是: 1,1,sim_count,sim_days (在前一点
中
解释过) future_panel是一个ndarray,具有
从
historical_multidim
中
随机
选取
的
浏览 0
提问于2018-08-23
得票数 31
1
回答
如何在多个
dask
数组
之间共享相同
的
索引
dask
dask
数组
.在getitem
方法
中
,我调用da.Array.compute
方法
(代码仍然处于非常早期
的
状态),因此我可以迭代子
数组
的
批处理。m2 = m[m.type==2] 它按预期工作,我得到
切片
数组
,但结果是我有一个巨大
的
内存消耗,我假设在后台
的
机制是复制每个子
dask
数组
的
索引。(我试图不“计算”getitem
浏览 1
提问于2019-01-13
得票数 1
2
回答
python
dask
包是否像掩码
数组
一样支持numpy?
python
、
dask
、
masked-array
有没有一种
方法
可以使用Python包来模拟掩码
数组
,并考虑掩码进行计算,就像在Numpy中一样:value = 9999result = (mdata * 2 + 10) 在软件包文档
中
,我只找到了
dask
.arrays,它等同于Numpy ndarray,并且没有掩码。此外,使用另一个
数组</em
浏览 0
提问于2016-12-06
得票数 1
1
回答
有没有一种有效
的
方法
将
dask
.array
的
每一行(或每一列)乘以一个向量元素?
python
、
arrays
、
numpy
、
dask
我在
dask
中有一个(巨大
的
) 2D
数组
,它放不下内存,需要将每一列乘以相应数量
的
向量。也就是说,我想映射M(i,j)→x(i)*M(i,j)。我目前
的
计划是
从
向量生成一个
dask
数组
,然后映射一个零矩阵(与原始矩阵大小相同),以重
浏览 20
提问于2020-02-08
得票数 1
2
回答
Numpy
数组
切片
python
、
arrays
、
numpy
、
scipy
、
numeric
我有一个一维numpy
数组
,以及一些偏移量/长度值。我想从这个
数组
中提取属于offset,offset+length
的
所有条目,然后使用这些条目
从
原来
的
数组
中
构建一个新
的
'reduced‘
数组
,该
数组
只包含由偏移量/长度对
选取
的
那些值。对于单个偏移量/长度对,这对于标准
数组
切片
[offset:offset+
浏览 2
提问于2012-06-16
得票数 4
回答已采纳
1
回答
Python删除列
python
、
csv
我正在尝试使用Python
从
我
的
数据框
中
删除最后两列。 问题是在最后两列中有我们不需要
的
值
的
单元格,并且这些列没有标题。下面是我写
的
代码,但我是Python新手,不知道如何获取原始数据并删除最后两列。
浏览 2
提问于2016-06-29
得票数 1
2
回答
基于浮点权
的
随机选择
php
、
random
假设我有一个具有下列值
的
数组
:0.92321925.2362123例如,值2.4652474被拾取
的
可能性是值1.2326237
的
两倍。
浏览 2
提问于2011-06-21
得票数 0
回答已采纳
1
回答
Dask
阵列+ hdf5读取性能
dask
我有
大量
的
大整数
数组
存储在hdf5 5格式
的
文件
中
。我发现将这些数据表示为
dask
数组
(相对于h5py.File对象列表)是方便
的
数据索引,但是
从
磁盘加载数据片非常缓慢。下面是一个示例,其中dsets是h5py.File对象
的
列表,x是由这些h5py.File对象构造
的
dask
.array。
dask
数组
的
分块与h5py.File
浏览 4
提问于2017-09-09
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
NumPy基础:多维数组
机器学习之计算工具库(一)
Numpy基础知识点汇总
机器学习之python计算(三)(numpy函数)(数组
numpy基础
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券