腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8864)
视频
沙龙
1
回答
在
python
内存
中
加载
100个
总
大小
为
12
my
的
CSV
文件
的
速度
比我
的
代码
快
python
、
csv
我有100个.
csv
文件
,每个从50到800MB不等。我使用下面的
代码
将它们
加载
到
内存
中
: import
csv
import time start = time.time() with open('myfolder' +
csv
_file, &qu
浏览 17
提问于2021-11-08
得票数 0
5
回答
与Matlab相比Numpy
加载
csv
太慢
python
、
matlab
、
csv
、
numpy
我有一个中等
大小
的
csv
文件
,我尝试使用numpy
加载
它。为了举例说明,我使用
python
创建了该
文件
:import numpy as np np.savetxt/test.
csv
');toc 结果显示:经过
的
时间是3.196465秒。我知道在装货
速度
方面可能
浏览 18
提问于2013-08-15
得票数 38
回答已采纳
2
回答
请求一个单独
的
7KB
文件
比请求总共7KB
的
6个
文件
要快吗?
performance
、
request
、
page-speed
我有6个JavaScript
文件
,
总
大小
为
7KB。 一个7KB
文件
的
加载
速度
是否比总共7KB
的
6个
文件
快
?
浏览 0
提问于2017-02-11
得票数 0
回答已采纳
4
回答
加载
一个非常大
的
txt
文件
并接受转置
python
、
python-2.7
、
pandas
、
machine-learning
、
scikit-learn
我有一个选项卡分隔
的
.txt
文件
,它将数字保持
为
矩阵。行数
为
904,652行,列数
为
26,600 (制表符分开)。
文件
的
总
大小
约为48 GB。我需要
加载
这个
文件
作为矩阵,并采取转置矩阵提取训练和测试数据。我正在使用
Python
、熊猫和sklearn包。我
的
行为500 it
内存
服务器,但它是不足以
加载
它
的
熊猫包。
浏览 6
提问于2016-01-08
得票数 1
回答已采纳
7
回答
与
Python
相比,
在
Julia
中
阅读
csv
要慢一些
julia
与
Python
相比,用Julia读取大型文本/
csv
文件
需要很长时间。下面是读取
大小
为
486.6 MB、有153895行和644列
的
文件
的
时间。
Python
3.3示例import timemyData=pd.read_
csv
("C:\\myFile.txt",sep但比
Python
慢。为了
浏览 14
提问于2014-02-19
得票数 29
回答已采纳
3
回答
如何在nodejs中
加载
非常大
的
csv
文件
?
node.js
、
csv
我正在尝试将2个大
的
csv
加载
到nodejs
中
,第一个
的
大小
为
257 597 ko,第二个
的
大小
为
104 330 ko。我使用
的
是
文件
系统(fs)和
csv
模块,下面是我
的
代码
: fs.readFile('path/to/
my
/file.
csv
'
浏览 2
提问于2018-05-22
得票数 11
回答已采纳
3
回答
Python
3和Windows 64
中
的
内存
错误
python
、
windows
、
python-3.x
、
memory-management
我知道以前有人问过与
内存
错误相关
的
问题,例如、、、或。建议
的
解决方案总是切换到
Python
3和/或窗口64位,或者在出现错误
的
情况下修复
代码
。然而,我已经
在
Python
3和赢64。我还可以从windows任务管理器中看到,当
Python
抛出
内存
错误时,64 GB
内存
中
仍有几GB可用。我有大约15个日期索引,熊猫数据帧,每行14000行,平均5000列浮点数据,和大约4
浏览 0
提问于2018-03-07
得票数 6
1
回答
在
Python
中
读取和切片二进制数据
文件
的
最快方法
python
、
matlab
、
performance
、
python-2.7
、
numpy
我有一个处理脚本,该脚本设计用于提取类型
为
"uint16“
的
二进制数据
文件
,并一次以6400块进行各种处理。(80, 80).astype('float64')
文件
大小
有很大差异,从500 MB
的
->到400 GB不等,所以我相信
在
Python
中找到一种更快
的
解析数据
的
方法可以
在
较大
的
文件
上产生好处。
比我
实现
浏览 2
提问于2017-05-24
得票数 4
回答已采纳
1
回答
在
块
大小
模式下提高Pandas read_
csv
速度
python
、
pandas
我正在使用chunksize pd read_
csv
读取一个10 am
的
文件
,但我注意到read_
csv
的
速度
越来越慢。此外,
在
一些迭代之后,我会收到一条关于“我
的
磁盘几乎已满”
的
警告消息。感觉pd
在
加载
新数据块时不会删除旧
内存
。如果我能以某种方式告诉
python
,
在
加载
分块
大小
的
数据帧并写出
浏览 2
提问于2019-04-27
得票数 0
2
回答
PyGame:
在
闪电战前
加载
图片信息?
map
、
pygame
、
tile
我
的
项目是一个大
的
地图,可以平移周围包含“信息点”,可以点击。目前,我使用了四幅大图像,每个图像跨度
为
5000x5000像素(因此
总
地图
大小
为
20'000x20'000像素)。
在
我
的
AMD现象9950四核与8GB
内存
和一个NVIDIA GeForce 610,这需要一定
的
时间来
加载
,而它是相当
快
后,当摇摄图像。我试着把它贴起来,但是
在
加
浏览 3
提问于2013-12-25
得票数 0
回答已采纳
2
回答
我
的
colab笔记本死机了,我该怎么解决?
python
、
google-colaboratory
当我想在colab
中
运行GPU
的
北欧个性化排名时,我收到了这条消息,我该如何解决这个问题?GPU训练要求因子
大小
是32 - 1
的
倍数。将因子从100增加到127。
浏览 2
提问于2021-02-20
得票数 0
1
回答
在
Photoshop中保存图像以用于应用程序开发
ios
、
xcode
我很想知道
为
我
的
iPhone应用程序项目保存图像时
的
最佳实践。 我知道我必须制作两个图像,一个是retina @ 326dpi,另一个是163dpi。我读过
的
许多tuts似乎将图像保存为PNG,而不管是否有透明度-这是正常
的
最佳实践吗?我通常会保存为jpg,如果没有透明度,但热衷于知道其他人做什么。最后-
在
Photoshop
中
,你会选择“另存为”还是“另存为网页”?我注意到,
在
保存为web时-当你将图像带回Photoshop并查看dpi时,它现在设置<
浏览 0
提问于2013-10-20
得票数 0
2
回答
用
内存
高效
的
方式将大型
csv
读入稀疏
的
熊猫数据
python
、
pandas
、
numpy
、
scipy
、
dask
熊猫
的
read_
csv
函数似乎没有很少
的
选择。我有包含大量零
的
csv
数据(它可以很好地压缩,并且去掉任何0值都可以将其减少到原来
大小
的
近一半)。我试着先用read_
csv
将它
加载
到一个密集矩阵
中
,然后调用to_sparse,但是这需要很长时间,并且占用文本字段,尽管大多数数据都是浮点。即使我将零从原始
文件
中
删除并调用to_sparse() (因此填充值
为
NaN),
浏览 4
提问于2015-08-08
得票数 32
2
回答
为什么
在
Python
中
运行查询所需
的
时间比
在
Oracle SQL Developer
中
要长?
python
、
pandas
、
oracle
编辑: VS
代码
玩得不好。我
在
Jupyter
中
运行了完全相同
的
代码
,它工作得更快。 我坚持使用32位
Python
,因为数据库是32位
的
。我不知道这是否会影响查询
的
速度
,但它确实会造成
内存
问题,所以我想在这里提到它。我注意到,当在Oracle SQL Developer
中
运行查询时,它
比我
通过
python
连接到数据库并运行查询
快
20%-30%。作为
浏览 0
提问于2021-03-03
得票数 0
1
回答
如何在处理大量数据
的
同时处理
内存
异常?
python
、
pandas
、
numpy
我试图开发一个
python
脚本,它以块
的
形式读取一个大型
CSV
文件
(大约1.2GB
的
历史数据),并执行以下步骤:提取前一天事务
的
新记录,附加到原始/基本
CSV
文件
,并将数据存储在数据
中
。
在
处理上面的步骤3时,我得到了
内存
异常错误(可能步骤1&2会消耗大部分
内存
,最大-3GB有限
的
空间)。即使我扩展了服务器
中<
浏览 0
提问于2019-09-17
得票数 3
4
回答
在
iOS
中
显示多列表
的
最有效方法是什么?
ios
、
iphone
、
objective-c
、
uitableview
我
的
问题是
加载
慢,滚动
速度
快
。我只是
在
我
的
UILabel方法
中
为
UITableView上
的
每个UITableView子视图设置文本值。 在任何时候,屏幕上大约有14行。滚动是超
快
的
。我
的
reuseIdentifier运行得很好。但是,表
的
初始负载明显较慢。
比我
使用UITableView
的
其他屏幕要慢得多,但是那些屏幕
的<
浏览 2
提问于2014-03-03
得票数 1
回答已采纳
2
回答
当
python
读取
CSV
文件
时
内存
被占用
python
、
csv
我试着读取一个
大小
为
~1GB
的
CSV
文件
,如下所示with open("
my
_
csv
.
csv
", "r") as f: for row in reader:我认为1GB足够小,可以作为一个列表
加载
到我<em
浏览 1
提问于2022-01-07
得票数 1
6
回答
Python
:减少字典
的
内存
使用
python
、
memory
、
dictionary
、
compression
、
n-gram
我试着把几个
文件
加载
到
内存
中
。这些
文件
有以下3种格式之一: i_love TAB 10目前,我现在做
的
伪码是 data = {} for line in file:,虽然磁盘中
文件
的
<e
浏览 13
提问于2012-04-22
得票数 53
回答已采纳
2
回答
如何在
Python
中
像这个awk命令一样有效地执行
CSV
连接?
python
、
pandas
、
bash
、
awk
我正在尝试
在
Python
中
自动化一个
文件
连接过程,它与我一直使用
的
bash命令行过程一样有效。我
的
bash CLI进程使用awk合并
文件
,我尝试使用
的
Python
使用pandas。例如,假设我有一个目录,其中包含多个名为part_0.
csv
、part_1.
csv
、...、part_n.
csv
的
CSV
文件
。每个
文件</em
浏览 0
提问于2020-12-23
得票数 0
2
回答
Elasticsearch多节点集群一个节点在码头组合
中
总是失败
docker
、
elasticsearch
、
docker-compose
我试图按照正式
的
文档设置一个基本
的
dev 3节点7.7.0 ES集群,但是不能同时操作所有的3个节点。在运行docker-compose up之后,至少有一个容器会在这样
的
情况下立即或在不久之后退出:Starting es03 ... donees01 exited with code 137 如果我试图通过运行docker-compose start es01 (或者无论哪个碰巧退出,有时是随机
的
浏览 10
提问于2020-05-25
得票数 6
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
CSV数据读取,性能最高多出R、Python 22倍
你写的ML代码占多少内存?这件事很重要,但很多人还不懂
如何只用一行代码让Pandas加速四倍?
加载速度提升 15%,关于 Python 启动加速探索与实践的解析
Pandas 2.0正式版发布:Pandas 1.5,Polars,Pandas 2.0 速度对比测试
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券