腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2385)
视频
沙龙
1
回答
当我
尝试
将我
的
numpy
数组
保
存到
.
npy
文件
时
,
我
得
到了
一个
内存
错误
。
如何
从
内存
有限
的
图像文件
创建
大型
.
npy
文件
?
python
、
python-3.x
、
numpy
、
memory
、
keras
我
对处理
大型
数据集是个新手。
我
想用
我
的
训练数据生成
一个
.
npy
文件
。
我
有大约1.7 MB
的
PNG图像要加载,但是由于
内存
错误
,
我
已经将这个设置分成了块,现在
我
正在
尝试
将大约389.5 MB
的
PNG
文件
加载到
numpy
数组
中,然后保存它。
我
可
浏览 29
提问于2019-06-05
得票数 2
回答已采纳
4
回答
有效地将CSV转换为
numpy
NPY
python
、
numpy
、
csv
、
tensor
、
feature-store
如何
有效地将.csv
文件
转换为.
npy
文件
?Q(第2部分):如果没有任何有效地将.csv加载/转换为.
npy
的
方法,那么有什么方法可以高效地将.csv
文件
读取到.
npy
中吗? 另外,这里有
一个
答案,可以迭代地将csv
文件
保存为
numpy
数组
。但是在读取
文件
时
,np.vstack似乎不是最好
的
解决方案。接受
的</
浏览 58
提问于2022-10-13
得票数 0
1
回答
创建
内存
效率高
的
大型
.
npy
文件
python
、
numpy
我
正在
尝试
创建
非常大
的
.
npy
文件
,并且遇
到了
一些困难。例如,
我
需要
创建
一个
(500,1586,2048,3)矩阵,并将其保
存到
npy
文件
中。最好是,
我
需要把它放在
一个
npz_compressed
文件
中。
我
还需要这是
内存
效率,以运行在低
内存
系统。
我<
浏览 5
提问于2020-08-06
得票数 0
1
回答
如何
连接多个
numpy
数组
?
python
、
arrays
、
numpy
我
正在
尝试
连接许多
numpy
数组
,
我
把每个
数组
放在
一个
文件
中,实际上问题是
我
有很多
文件
,
内存
不能支持
创建
一个
大
的
数组
Data_Array = np.zeros((1000000,7000)),我会把
我
所有的
文件
放在那里所以,
我
在这个问题中发现
我
可以使用np.
浏览 0
提问于2017-04-13
得票数 1
1
回答
使用Django API连接基于
Numpy
的
应用程序
python
、
django
、
api
、
numpy
、
caching
我
在缓存中存储了3个矩阵,用于计算过程。总体而言,它们有50.000行和500列。
我
的
问题与性能有关。每当Django获得web服务调用时,它都会触发基于
Numpy
的
应用程序,该应用程序访问缓存以复制矩阵。问题是访问缓存和复制矩阵需要5秒。在我看来,复制矩
浏览 0
提问于2017-10-14
得票数 0
2
回答
如何
在不导入RAM
的
情况下使用
numpy
文件
?
python
、
numpy
、
google-colaboratory
我
想使用
一个
从
Google到Google
的
numpy
文件
(.
npy
),而不将它导入
内存
中。
我
正在进行图像分类,并
将我
的
图像数据放入Google中
的
四个数字
文件
中。
文件
的
总体大小大于14 GB。而Google只提供12 GB
内存
供使用。是否有一种方法可以让
我
一次只将
一个
批处理
浏览 5
提问于2020-06-21
得票数 4
回答已采纳
2
回答
为什么
numpy
.save为sys.getsizeof 0.33MB数据生成100 for
文件
?
python
、
numpy
我
有
一个
numpy
数组
arr (由多个不匹配长度
的
嵌套列表产生),它显然只需要 myf=open('.\\test.
npy
', 'wb')myf.close() 生成
浏览 8
提问于2020-07-08
得票数 0
回答已采纳
1
回答
numpy
memmap修改
文件
python-2.7
、
numpy
、
numpy-memmap
我
在理解
numpy
.memmap
的
工作方式
时
遇
到了
问题。背景是,
我
需要通过删除条目来减少保存在磁盘上
的
大型
numpy
数组
。读取
数组
并通过复制所需
的
部分来构建
一个
新
的
数组
是不起作用
的
-它只是不适合放入
内存
中。所以我们
的
想法是使用
numpy
.memmap --即
浏览 5
提问于2017-08-08
得票数 0
1
回答
使用mmap
时
ACCESS_READ在
numpy
.load中
的
错误
python
、
numpy
我
正在
尝试
加载
一个
相当大
的
numpy
数组
(~75k图像),但是由于整个数据集都被加载到
内存
中,所以我一直收到
内存
错误
。
我
想使用
numpy
mmap,但是
我
一直得到ACCESS_READ
错误
。
当我
试图使用中描述
的
mmap加载
numpy
数组
时
,总是会得到
错误
:
浏览 2
提问于2017-05-08
得票数 0
1
回答
如何
使用CUDA将“零拷贝”
内存
固定在
内存
映射
文件
中?
numpy
、
memory-management
、
cuda
、
chainer
、
cupy
目标/问题在先前
的
溢出帖子[ ]中
我
提
到了
我
如何
尝试
使用Cupy,它允许您在memmo
浏览 0
提问于2019-09-02
得票数 5
回答已采纳
6
回答
无法加载包含已酸洗数据
的
文件
- Python .
npy
I/O
python
、
numpy
、
io
我
尝试
使用np.save()将数据帧和矩阵保存为.
npy
文件
,然后使用np.load()读取它们,但得到以下
错误
: raise ValueError
浏览 2
提问于2020-02-12
得票数 13
1
回答
Python扩展-
内存
泄漏
python
、
memory-leaks
、
python-c-api
、
reference-counting
我
对Python还比较陌生,这是
我
第一次
尝试
编写C扩展。 在
我
的
Python3.x项目中,后台需要加载和解析
大型
二进制
文件
(10-100MB),以提取数据以供进一步处理。二进制内容组织在框架中:标头,后面跟着可变
的
数据量。由于Python
的
低性能,
我
决定使用
一个
C扩展来加速加载部分。独立
的
C代码在20x-500x之间
的
性能要比Python高出一倍,所以我对它相当满
浏览 0
提问于2019-02-22
得票数 1
1
回答
numpy
的
memmap复制写模式是
如何
工作
的
?
python
、
numpy
我
对
numpy
的
memmap在使用复制即写(mmap_mode=c)
时
如何
处理数据更改感到困惑。
我
试图减少
我
在共享集群上运行
的
机器学习脚本
的
内存
使用量(每个实例所使用
的
内存
越少,
我
可以同时运行
的
实例就越多)。
我
的
数据是非常大
的
numpy
数组
(每个>8G
浏览 3
提问于2019-01-02
得票数 8
1
回答
通过
numpy
memmap访问
的
值之和是
错误
的
。
python
、
numpy
、
memory
我
有
一个
大型
(9.3GB) .
npy
文件
,其中包含
一个
(67000,9,128,128个) ndarray中
的
uint8值。
我
使用np.save()
创建
了它,当使用x = np.memmap('file.
npy
', "uint8", shape=(67000, 9, 128, 128), mode="r")加载它
时
,np.sum“问题”是,
浏览 0
提问于2018-04-18
得票数 0
回答已采纳
2
回答
是否有方法将
numpy
unicode
数组
加载到memmap中?
python
、
numpy
、
numpy-ndarray
、
numpy-memmap
我
正在
尝试
创建
一个
dtype='U'
数组
并使用
numpy
.save()保存该
数组
,但是,当试图将保存
的
文件
加载到
numpy
.memmap中
时
,我会得到
一个
与大小不为“U3”
的
倍数有关
的
错误
我
和python
我
尝试
了下面的代码,其中
我
正在<
浏览 2
提问于2019-05-15
得票数 1
回答已采纳
1
回答
从
HDF5
文件
中读取
大型
数据集到x_train中并在keras模型中使用
python
、
tensorflow
、
machine-learning
、
keras
、
hdf5
我
有
一个
大型
HDF5
文件
,包含16000个不同
的
512x512
numpy
数组
。显然,将
文件
读取到ram将使其崩溃(
文件
的
总大小为40 GB)。
我
想将这个
数组
加载到数据中,然后将数据拆分为train_x和test_x。Tha标签是本地存储
的
。
我
这样做了,它只
创建
了
一个
文件
的
路
浏览 2
提问于2021-05-22
得票数 1
2
回答
Dask和
numpy
-在
numpy
数组
和dask
数组
之间
的
缓慢转换
python
、
numpy
、
dask
、
dask-distributed
我
需要从
一个
大
的
numpy
数组
中保存
一个
dask
数组
。下面是
一个
最小
的
工作示例,展示了该过程。请注意,a是使用
numpy
.random
创建
的
,但不幸
的
是,
我
不能使用dask
创建
数组
。(‘my-folder/’, dask_array)
我
面临
的<
浏览 22
提问于2020-02-20
得票数 0
回答已采纳
1
回答
如何
在没有
内存
转储
的
情况下加载大
的
numpy
文件
到kaggle笔记本?
python
、
pandas
、
numpy
、
machine-learning
我
正与合作,在带有GPU
的
Kaggle笔记本上训练Keras深度学习模型。dataset有
一个
csv,它包含
一个
id,用于另
一个
目录中
的
.tif映像,以及
一个
标签,1或0。
我
平衡了数据并使用
numpy
.save()保存了数据(参见代码1)。这样做很好,然后,
我
下载这些
文件
并将它们重新上传为dataset。但是,
当我
尝试
使用
numpy
.load()
浏览 0
提问于2021-01-11
得票数 1
回答已采纳
1
回答
numpy
.memap、Pandas数据帧和seaborn箱图故障
python
、
pandas
、
numpy
、
seaborn
、
memory-mapped-files
我
正在对几个
大型
数据集(总和比我
的
RAM大得多)运行分析。为了方便
我
的
工作,
我
使用
numpy
.memmap加载数据集(在将它们保
存到
从
断层扫描数据集生成
的
单个.
npy
文件
之后)。
从
数据集中提取了几个值之后,
我
将这些值收集到
一个
Pandas数据帧中。
当我
查看这些值
时
(例如通过df.head())
浏览 4
提问于2017-02-24
得票数 1
3
回答
将多个
Numpy
数组
保存为
Numpy
二进制
文件
(Python)
python
、
python-3.x
、
numpy
、
binaryfiles
我
想将多个大小
的
numpy
数组
保
存到
numpy
二进制
文件
中,以防止代码崩溃,但
当我
添加
一个
数组
时
,它似乎一直被覆盖。最后保存
的
数组
是在打开和读取save.
npy
时
设置为所有
数组
的
数组
。下面是
我
的
代码: with open('sav
浏览 113
提问于2020-07-22
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Numpy基础知识点汇总
LSTM之父最新力作:教你如何训练一个有世界观的AI赛车手
“世界模型”实现,一步步让机器掌握赛车和躲避火球的技能
LSTM之父最新力作:手把手教你训练一个有世界观的AI赛车手
程序员深夜用Python跑神经网络,只为用中二动作关掉台灯
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券