腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
从
压缩
的
.
npy
文件
创建
Dask
数组
?
dask
我有一个很大
的
数据集存储为
压缩
的
npy
文件
。
如何
将给定
的
子集堆叠到
Dask
数组
中? 我知道
dask
.array.from_
npy
_stack,但我不知道
如何
使用它。这是一个粗略
的
第一次尝试,它耗尽了我所有的内存: import numpy as np data = np.load('da
浏览 11
提问于2020-07-22
得票数 0
回答已采纳
1
回答
避免同时读取
dask
数组
的
多个
文件
python
、
dask
从一个库中,我得到一个函数,它读取一个
文件
并返回一个numpy
数组
。每个块都是在
文件
上调用函数
的
结果。当我要求
Dask
计算时,
Dask
会要求函数同时
从
硬盘读取多个
文件
吗?import numpy as np impo
浏览 0
提问于2018-08-06
得票数 1
1
回答
使用
Dask
从
hdf5
文件
到numpy堆栈
的
写入时间长,读取时间短
arrays
、
numpy
、
store
、
dask
、
hdf5
本实验使用只有一个线程('single-thread')
的
Dask
线程调度器
从
单个hdf5
文件
加载一个大小约为5 5GB
的
数组
,并使用
dask
数组
的
to_
npy
_stack方法将其写回到50个
npy
文件
中读写都是在HDD上完成
的
,因此我选择使用一个线程。正如我们在下图中所看到
的
,
dask
诊断工具显示黄色<em
浏览 14
提问于2019-12-13
得票数 0
1
回答
如何
有效地将
npy
转换为xarray / zarr
python
、
dask
、
python-xarray
、
zarr
我有一个37 GB
的
.
npy
文件
,我想要转换到扎尔商店,以便我可以包括坐标标签。在理论上,我有这样做
的
代码,但我一直没有内存。我想在中间使用
Dask
来方便,但是我仍然内存不足。数据是人
的
股骨软骨
的
“厚度图”。每个映射都是一个310x310浮点数
数组
,其中有47789个。因此,数据形状为(47789,310,310)。
浏览 10
提问于2022-06-17
得票数 4
回答已采纳
1
回答
用于numpy
数组
的
free()
的
Python等价物?
python
、
numpy
、
memory-leaks
、
dask
我有许多需要存储为
dask
数组
的
大型numpy
数组
。在尝试
从
.
npy
加载每个
数组
,然后将其转换为
dask
.array时,我注意到内存使用率几乎与常规numpy
数组
一样多,即使在将arr加载到
dask
.array之后执行del arr之后也是如此。: 1 print(f'Array ref count after conversion: {sys.getrefcount(arr) - 1}') #
浏览 2
提问于2021-07-23
得票数 0
2
回答
Dask
和numpy -在numpy
数组
和
dask
数组
之间
的
缓慢转换
python
、
numpy
、
dask
、
dask-distributed
我需要从一个大
的
numpy
数组
中保存一个
dask
数组
。下面是一个最小
的
工作示例,展示了该过程。请注意,a是使用numpy.random
创建
的
,但不幸
的
是,我不能使用
dask
创建
数组
。= da.from_array( a, chunks = 100000)client.c
浏览 22
提问于2020-02-20
得票数 0
回答已采纳
1
回答
如何
从
多个
文件
创建
单个
dask
数组
?
python
、
arrays
、
dask
、
dask-distributed
我正在尝试
从
多个
文件
创建
单个
dask
array。我正在使用
dask
.array.Array类来做这件事。考虑以下代码片段,其中我生成了大小为(3, 10, 10)
的
100随机整数array,并将它们分别保存在一个单独
的
npy
文件
中。然后,我尝试
创建
一个
dask
array,将所有这些
数组
组合成一个形状为(3, 100, 100)
的
dask
ar
浏览 3
提问于2020-02-17
得票数 0
回答已采纳
1
回答
将大量图像保存为
数组
python
、
numpy
、
image-processing
我有大量
的
视频,我想提取帧,预处理,然后为每个视频
创建
一个
数组
。到目前为止,我已经
创建
了
数组
,但是每个
数组
的
最终大小对于所有视频来说都太大了。我有224个视频,每个视频产生一个6GB
的
数组
,总计超过1.2TB。我尝试过使用numpy.save和pickle.dump,但两者在系统上都
创建
了相同
的
大小。一般来说,你有推荐或替代
的
方法吗?
浏览 2
提问于2019-10-19
得票数 0
回答已采纳
4
回答
有效地将CSV转换为numpy
NPY
python
、
numpy
、
csv
、
tensor
、
feature-store
如何
有效地将.csv
文件
转换为.
npy
文件
?", vec)另外,这里有
浏览 58
提问于2022-10-13
得票数 0
2
回答
使用Lock
创建
Dask
延迟。错误:_thread._local没有execution_state
python
、
dask
我想
创建
一个包含多个块
的
Dask
数组
。每个块都来自一个读取
文件
的
函数。为了避免同时
从
硬盘读取多个
文件
,我遵循答案并使用锁。但
创建
交易时会出现以下错误:测试:import
dask
impo
浏览 1
提问于2018-08-07
得票数 2
回答已采纳
1
回答
Dask
串连一系列数据
python
、
pandas
、
dataframe
、
dask
我有一个丹克系列
的
潘达斯DataFrames。我想使用
dask
.dataframe.multi.concat将其转换为
Dask
DataFrame。我可以在
Dask
系列
的
Pandas DataFrames上执行一个compute,以得到一个Pandas系列
的
DataFrames,在这个时候我可以把它变成一个列表。但我认为最好不要打电话给compute,而是直接
从
Dask
系列Pandas DataFrames上购买
Dask
DataFr
浏览 1
提问于2019-10-22
得票数 1
回答已采纳
1
回答
迭代看似相同
的
dask
数组
需要不同
的
时间。
python
、
dask
我试图读取混合
文件
(
npy
,csv等)
的
未知大小使用达斯克。
文件
将被转换为
数组
,并在进行一些涉及切片
的
操作之前合并为一个
数组
。 使用<e
浏览 3
提问于2019-12-11
得票数 0
回答已采纳
1
回答
如何
从
大量
的
npy
文件
堆栈中
创建
Zarr
数组
?
python
、
google-cloud-storage
、
dask
、
zarr
我有一个4维numpy
数组
的
堆栈,保存为.
npy
文件
。每一个大约1.5GB,我有240个
文件
,所以大约360 GB
的
总数和比内存大得多。我想把它们组合成Google云存储桶中
的
一个Zarr
数组
。我
的
第一次尝试是初始化第一个维度中为空
的
zarr
数组
,如下所示 gcsfs.GCSFileSystem(project=<project-name>).get
浏览 6
提问于2022-09-28
得票数 0
1
回答
创建
内存效率高
的
大型.
npy
文件
python
、
numpy
我正在尝试
创建
非常大
的
.
npy
文件
,并且遇到了一些困难。例如,我需要
创建
一个(500,1586,2048,3)矩阵,并将其保存到
npy
文件
中。
创建
一个包含所有数据
的
ndarray,然后使用savez_compressed导出它。 这会将我所有的数据输入
数组
,但这对内存效率来说是很糟糕
的
。如果我能把它转换成
压缩
格式,我会很高兴
的
,但我就是搞不懂。如果可能的话
浏览 5
提问于2020-08-06
得票数 0
2
回答
为什么numpy.save为sys.getsizeof 0.33MB数据生成100 for
文件
?
python
、
numpy
我有一个numpy
数组
arr (由多个不匹配长度
的
嵌套列表产生),它显然只需要 np.save(myf, arr)生成
的
文件
test.
npy
的
大小超过100 be。 为什么会这样呢?我在测量python内存中
的
实际数据大小时犯了什
浏览 8
提问于2020-07-08
得票数 0
回答已采纳
2
回答
如何
在
文件
系统容量有限
的
情况下保存一个大
的
‘`numpy`’as '*.npz‘
数组
?
python
、
python-3.x
、
numpy
、
low-memory
我有一个numpy
数组
,它保存为未
压缩
的
'*npz‘
文件
,大约是26个GiB,因为它是numpy.float32,numpy.savez()
的
结尾是:我认为
压缩
后
的
保存可能会节省时间,但使用numpy.savez_compre
浏览 2
提问于2018-02-28
得票数 0
回答已采纳
1
回答
达克能以块读取
压缩
文件
吗?
python
、
dask
Dask
能够读取块
压缩
的
文件
吗?在读取
文件
时,我在.xz中收到了一些错误,Val
浏览 1
提问于2019-01-15
得票数 0
2
回答
dask
定制DataFrame加载
python
、
dataframe
、
dataset
、
dask
、
large-files
我有一个定制
的
文件
格式,我想要懒洋洋地加载和处理,如果它是一种数据格式,它将是有用
的
。我
的
问题是,需要读取数据集才能生
浏览 5
提问于2022-05-04
得票数 0
3
回答
读取Parquet
文件
时在Pandas中
创建
内存错误数据
pandas
、
dataframe
、
dask
、
parquet
、
vaex
我已经
创建
了一个用gzip
压缩
的
拼花
文件
。
压缩
后
的
文件
大小为137 MB。当我试图通过Pandas、
dask
和vaex读取拼花
文件
时,我会发现内存问题:df = pd.read_parquet("C:\\files\\test.parquet")OSError: Out of memory: realloc of size 3915749376
浏览 22
提问于2020-11-26
得票数 1
5
回答
用Spyder / Python打开.
npy
文件
python
、
file
、
numpy
抱歉
的
。我现在正在学习Python和所有与数据分析有关
的
东西。 我到底怎么用Spyder打开一个.
npy
文件
?或者我必须使用另一个程序?我使用
的
是Mac,如果这与此相关的话。
浏览 0
提问于2015-11-24
得票数 23
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
深度学习实战 mnist数据集预处理技术分析
先来一碗numpy的纯干货吧!
Numpy FancyPie
科学计算工具-Numpy初探
Python数据预处理:使用Dask和Numba并行化加速
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券