腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
具有
相同
形状
和
不同
数据类型
的
dask
数组
中
强制
使用
相同
的
块
布局
python
、
dask
我有一个大
的
dask
工作流,它产生两个
不同
的
数组
,
形状
相同
,但
块
(和
数据类型
)
不同
。我尝试重新分块这些
数组
(
具有
相同
的
块
大小),但由于它们
具有
不同
的
数据类型
,所以
块
也
不同
。有没有一种方法可以
强制
这些<em
浏览 11
提问于2019-05-22
得票数 0
回答已采纳
2
回答
如何更新
具有
nan维度
的
dask
数组
的
形状
、
块
和
块
大小元数据
python
、
dask
假设我生成一个
具有
依赖于某些计算
的
形状
的
数组
,例如: >>> import
dask
.array as da>>
浏览 20
提问于2019-02-28
得票数 4
1
回答
为什么
dask
_ml.preprocessing.OrdinalEncoder.transform会产生不按序号编码
的
结果?
dask
、
dask-dataframe
、
dask-ml
我对
的
结果感到困惑from
dask
_ml.preprocessing import OrdinalEncoder[0., 2.], [1., 0.], [2., 0.],
dask
破坏了接口,它只返回初始输入DataFrame: >>> DaskOrdinalEncoder().fit_tra
浏览 7
提问于2021-05-07
得票数 0
回答已采纳
1
回答
从gcs上已经阻塞
的
数据
中
定义
dask
数组
dask
我想要创建一个三维达斯克
数组
,从数据,我有已经分块。我
的
数据由216个
块
组成,每个
块
包含1024x1024x1024 uint8体素,每个
块
存储为一个压缩
的
hdf5文件,其中包含一个名为data
的
键。压缩后,我
的
数据每块只有几兆字节,但解压缩后,每块需要1GB。此外,我
的
数据目前存储
在
(gcs)
中
,尽管我可能在容器
中
本地镜像它。 我认为最简单
的
方法是
使用<
浏览 4
提问于2020-01-19
得票数 0
回答已采纳
2
回答
python
dask
包是否像掩码
数组
一样支持numpy?
python
、
dask
、
masked-array
有没有一种方法可以
使用
Python包来模拟掩码
数组
,并考虑掩码进行计算,就像在Numpy中一样:value = 9999result = (mdata * 2 + 10)
在
软件包文档
中
,我只找到了
dask
.arrays,它等同于Numpy ndarray,并且没有掩码。此外,<em
浏览 0
提问于2016-12-06
得票数 1
2
回答
在
大型numpy
数组
上应用聚合函数
python
、
arrays
、
numpy
、
dask
我正试图计算大型numpy
数组
的
平均值。_exceptions.MemoryError:无法为
具有
形状
(100、1000000、133)和
数据类型
float32
的
数组
分配xxx GiB
在
原始代码
中
,数据是一个更有意义
的
向量生成器。我考虑过
使用
dask
进行这样
的
操作,希望它能将我
的
数据分割成由磁盘支持
的
块
。i
浏览 5
提问于2021-08-25
得票数 0
回答已采纳
1
回答
是否有一种有效
的
方法,
在
每个样本之间用NaNs对一个
dask
或xarray进行抽样?
python
、
sparse-matrix
、
dask
、
python-xarray
长话短说:长话短说:
在
物理上,两个
dask
阵列
浏览 0
提问于2019-09-13
得票数 1
2
回答
为什么map_blocks要重塑我
的
数组
,我如何控制它?
python
、
arrays
、
dask
我想
使用
dask
作为一个非达克感知函数(),这是我可以用
dask
.array.map_blocks完成
的
。后者需要一个返回ndarray
的
函数,但是pyproj.Geod.inv返回一个ndarray
的
元组,所以我将得到
的
ndarray连接在一个包装器函数
中
,然后传递给
dask
.array.map_blocks但最终
的
形状
与我所期望
的
不一样。
使用
大小为f
的
浏览 3
提问于2019-12-10
得票数 0
回答已采纳
2
回答
在
一个函数中支持xarray、
dask
和
numpy
数组
的
最干净
的
方法
python
、
numpy
、
dask
、
python-xarray
我有一个函数,它接受多个2D
数组
,并创建两个
形状
相同
的
新
数组
。它最初是为了只支持numpy
数组
而编写
的
,但是如果看到“
块
”属性,则会被“黑客攻击”以支持
dask
数组
。一个
使用
xarray DataArrays
的
用户指出,这个函数现在返回
dask
数组
,因为DataArray有一个“
块
”属性。我想知道
dask
浏览 0
提问于2018-08-09
得票数 3
回答已采纳
1
回答
将numpy
数组
转换为(
不同
的
)预分配
数组
python
、
numpy
假设我有一个
数据类型
为int32
的
数组
A,我想将它转换为float64。(我知道
的
)标准方法是A.astype('float64')。但这会为结果分配一个新
的
数组
。如果我重复运行这个命令(
使用
相同
形状
的
不同
数组
),每次
使用
结果并在不久之后丢弃它,那么这些分配
的
开销可能是不可忽略
的
。 假设我预先分配了一个<em
浏览 0
提问于2018-04-02
得票数 0
1
回答
组
的
Zarr多线程读取
python
、
multithreading
、
hdf
、
zarr
我将zarr数据分组存储
在
磁盘上,例如,我有d1 = group.create_dataset('baz', shape=100, chunks=10)现在group是可迭代
的
,所以我可以遍历它并读取所有组
的
数据:有没有一种方法可以
使用
多线程从组<em
浏览 0
提问于2019-06-27
得票数 0
3
回答
在
条件为True
的
3D Numpy
数组
之间复制数据
python
、
multidimensional-array
、
numpy
、
indexing
我想要将数据从一个3D
数组
复制到另一个3D
数组
的
索引
中
,当一个条件对
不同
的
2D
数组
为真时。所有三个
数组
都
具有
相同
的
前两维
形状
(x,y坐标)。我想应该是这样
的
,但在这种情况下,它在检查时会导致数据损坏/乱码。这是错误
的
方式,还是正确
的
方式,并且我
的</em
浏览 0
提问于2013-03-31
得票数 1
1
回答
更改维度后
的
map_blocks返回IndexError:元组索引超出范围
python
、
dask
我正在尝试
使用
dask
数组
创建聚合统计信息。map_blocks看起来很理想,但却无法正常工作。import
dask
.array as da
浏览 16
提问于2019-07-07
得票数 1
回答已采纳
1
回答
在
python中保存多个变量
python
、
numpy
、
vstack
这是我
的
脚本,它有一些问题。我只想在vstacking之后
使用
numpy savetxt保存树变量a1,a2,a3。当在循环中找到所有变量(a1、a2、a3)时,它工作得很好。当发现其中一个是空
的
时,它就会出现问题。那么,如何解决它呢?任何帮助都将不胜感激。
浏览 7
提问于2021-02-26
得票数 0
1
回答
在
使用
列表索引数值
数组
时避免复制
python
、
numpy
有没有一种简单
的
方法可以
使用
列表或任何其他集合来索引
数组
,这样就不会复制(只获取
数组
的
一个视图)。请不要试图根据下面的代码片段来回答这个问题-我用来索引元素
的
列表并不总是很短(即数千个元素,而不是4个),并且列表是算法
的
产物,因此数字不一定是排序
的
,等等。例如,在下面的代码
中
,
在
两种情况下都选择了列1、2
和
3,但只
在
第一种情况下返回了数据视图: >>> a[:,1
浏览 1
提问于2014-05-23
得票数 5
2
回答
压缩格式
块
对角矩阵
的
有效线性代数
python
、
numpy
、
multidimensional-array
、
vectorization
、
linear-algebra
我有一个线性系统,其中所有的矩阵都是
块
对角
的
。它们
的
N
块
形状
相同
。import numpy as np return (m * np.expand_dims(v, -2)).sum(-1) 由于广播规则,如果矩阵
的<
浏览 4
提问于2016-12-20
得票数 2
回答已采纳
1
回答
初始化大于内存
的
Xarray数据集
python
、
dask
、
python-xarray
、
zarr
我想初始化一个非常大
的
XArray数据集(如果可能的话
在
磁盘上),以便以后处理--数据集
的
各个部分(空间子集)将由
不同
的
脚本填充。什么是好
的
替代方案?我正在寻找这样
的
解决方案,用
的
是普通
的
扎尔:root = zarr.op
浏览 6
提问于2022-09-19
得票数 0
回答已采纳
1
回答
Numpy子类:创建
具有
不同
形状
、
相同
元数据
的
数组
的
副本
python
、
arrays
、
numpy
、
reshape
我有一个子类numpy
数组
--一个包含元数据
的
“光谱轴”,例如单元。 我可以
使用
arr.copy创建任何实例
的
副本,也可以
使用
arr2=arr[2:5]创建视图。是否有任何方法创建这些
数组
中
的
一个
具有
不同
形状
但保持
相同
元数据/
数据类型
的
新实例?
浏览 3
提问于2012-10-29
得票数 0
回答已采纳
1
回答
使用
dask
.distributed
强制
或显式重新平衡数据
python
、
dask
、
dask-distributed
我有一个包含4个工作进程
的
Dask
-MPI集群,一个3D网格数据集加载到一个
Dask
数组
中
,并分成4个
块
。我
的
应用程序要求我
在
每个worker上只运行一个任务,最好是每个任务有一个
块
。我遇到
的
麻烦是以一种可靠
的
、可重现
的
方式将数据
块
分布
在
集群
中
。具体地说,如果我运行array.map_blocks( foo ),对于每个
浏览 6
提问于2019-07-13
得票数 0
回答已采纳
1
回答
异步计算
dask
数组
块(
Dask
+ FastAPI)
dask
、
dask-distributed
、
fastapi
、
uvicorn
我正在构建一个FastAPI应用程序,该应用程序将为
Dask
的
块
提供服务。我想把
和
结合起来。下面是一个mcve,它演示了我试图
在
应用程序
的
服务器
和
客户端做什么:import time import numpy as np import在这个设置
中
,compute()调用在_get_block
中
是“阻塞”
的
,每次只计算一个
块</e
浏览 1
提问于2020-03-02
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
NumPy数组详解 玩转NumPy(1)
Python数据预处理:使用Dask和Numba并行化加速
Numpy基础(一)
收藏 Numpy详细教程
Python数据分析入门日记Day2:科学技术库Numpy:数组的基本函数
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券