腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2740)
视频
沙龙
4
回答
Pandas
dataframe
CSV
可
减少
磁盘
大小
python
、
pandas
、
csv
、
dataframe
、
compression
对于我的大学作业,我必须生成一个
csv
文件,其中包含世界各地机场的所有距离……问题是我的
csv
文件重151Mb。我想尽可能地
减少
它:这是我的
csv
: ? airport[4], airport[5]) airportcodes=list(airport_dict) airportdists=pd.
DataFrame
/Project Data Files-20190322/distances.
csv
浏览 95
提问于2019-03-22
得票数 2
回答已采纳
4
回答
R如何在将
csv
文件写入
磁盘
之前估计
csv
文件
大小
r
、
csv
、
dataframe
、
diskspace
在通过write.
csv
或readr::write_
csv
将
csv
文件实际写入
磁盘
之前,在R中有任何方法来估计
csv
文件的文件
大小
吗?如果用户不小心试图将大型文件写入函数中的
磁盘
,我想实现一个警告。数据存储(
dataframe
,object.size)的内存占用与
磁盘
上的
大小
之间似乎有某种关系,而后者则要大得多。但是,内存中的对象越大,差异就越小。此外,可能存在与
dataframe
结构相关的差异。
浏览 7
提问于2016-03-10
得票数 18
回答已采纳
3
回答
将python迭代器输出转换为
pandas
数据帧的最快方法
python
、
pandas
我有一个生成器,它返回未知数量的数据行,我希望将这些数据转换为索引的
pandas
数据帧。据我所知,最快的方法是将
CSV
写入
磁盘
,然后通过'read_
csv
‘解析回来。我知道创建一个空的
dataframe
,然后不断地追加新的行是没有效率的。我不能创建预置
大小
的
dataframe
,因为我不知道将返回多少行。有没有一种方法可以将迭代器输出转换为
pandas
数据帧而不写入
磁盘
?
浏览 1
提问于2017-03-24
得票数 12
2
回答
如何读取python上的
csv
,tp得到一个数据,但每3行只有一行?
python
我有一个很大的
csv
文件。我想得到一行,每3行,在一个数据。这或多或少类似于重采样
csv
。比方说,我有这样一个
csv
文件:9 21 59 104 5如果我读了
csv
,然后每3行删除1行,那就没用了,因为它花费了太多的时间
浏览 4
提问于2022-04-20
得票数 0
回答已采纳
1
回答
获取
csv
中的特征提取结果
python-3.x
、
machine-learning
、
feature-extraction
、
training-data
我有一个
csv
数据集,并应用了小波、峰度等特征提取,以便稍后进行机器学习。我是python和机器学习的新手,所以不能理解如何取回特征提取的
csv
文件。 csvfile = "Features/features
浏览 16
提问于2018-12-17
得票数 0
1
回答
如何将多只熊猫的数据连成一个比内存大的dask数据?
pandas
、
hdf5
、
dask
、
pytables
、
bigdata
这是~1 TB
大小
的数据,所以我自然不能把它放入RAM中.达斯克可能是完成这一任务的最佳方式。如果我使用解析我的数据来适应一个熊猫的数据,我会这样做:import
csv
# save dictionary as
pandas
浏览 3
提问于2016-10-09
得票数 14
回答已采纳
2
回答
如何在使用块状参数时获得
DataFrame
的索引?
python
、
pandas
、
dataframe
我有一个非常大的.
csv
文件,我不能完全加载到我的内存。这就是为什么我需要像这样加载我的dataset ( chunksize参数):
csv
= pd.read_
csv
("challenger_match_V2.
csv
不使用大块头参数,我只需执行
dataframe
[idx:idx]。 我怎么能用大块头做这件事呢?/_libs/index.pyx in
pandas
._libs.index.Index
浏览 4
提问于2020-06-21
得票数 0
回答已采纳
1
回答
通过分块将
CSV
文件读取到
Pandas
Dataframe
中,从而生成单个目标数据帧
python
、
python-3.x
、
pandas
、
dataframe
我需要在
Pandas
中将一个4 4GB的大文件作为
csv
读取到数据帧中。我知道我可以使用chunksize
Pandas
选项来
减少
内存占用,并在将数据保存到
磁盘
之前处理数据块。在将
csv
文件保存到
磁盘
之前,我不知道如何使用块中的
csv
文件中的所有数据来创建生成的单个数据帧。我需要帮助完成这段代码来创建这个最终的数据帧。有人能帮帮忙吗?, chunksize=chunksize) as reader:
浏览 17
提问于2021-01-13
得票数 0
3
回答
在
pandas
中加载大型
csv
文件
python
、
pandas
我正在尝试加载
pandas
dataframe
中的
csv
文件。然而,Python在加载文件时占用了大量内存。例如,
csv
文件的
大小
是289MB,但当我试图加载该文件时,内存使用量却达到了1700MB左右。此时,系统显示内存错误。我也尝试过分块
大小
,但问题仍然存在。谁能告诉我一条前进的路?
浏览 0
提问于2018-03-19
得票数 0
1
回答
熊猫数据与
csv
文件之间的内存不匹配
python
、
pandas
、
dataframe
这
减少
了数据文件的内存使用量。问题:是什么导致记忆错配,如何克服?提前谢谢。import
pandas
as pddf.info(memory_usage='deep')
浏览 0
提问于2019-07-29
得票数 0
回答已采纳
1
回答
阅读大文本文件与潘达斯的建议?
python
、
pandas
我正在将一个大的
csv
文件25 am读入
pandas
.
DataFrame
。我的个人电脑规格如下:
磁盘
上的
csv
文件
大小
显示为24 on。
浏览 1
提问于2019-03-19
得票数 1
回答已采纳
1
回答
AttributeError:“”
DataFrame
“”对象没有“”save“”属性“”
python
、
pandas
、
dataframe
我正在尝试以二进制数据格式保存熊猫
DataFrame
,书中说熊猫对象都有保存方法,可以将数据作为泡菜写入
磁盘
。但是当我运行代码时,出现了一个错误。
pandas
新版本中是否有
pandas
对象的save方法?我正在使用
pandas
0.25.3 import
pandas
as pd frame.save('PandasTest_Pickle
浏览 93
提问于2020-03-26
得票数 0
回答已采纳
1
回答
内存和
磁盘
中的文件
大小
不同
python
、
pandas
我刚刚用
pandas
' to_
csv
函数写了一个
csv
文件。我可以看到这个文件在
磁盘
上的
大小
是13 is。我想使用pd.read_
csv
将此文件读回到
pandas
dataframe
中。
浏览 2
提问于2017-06-27
得票数 0
2
回答
熊猫-加载数据并显示所有列
python
、
pandas
、
python-2.7
、
dataframe
当我试图将
csv
加载到
DataFrame
时,会对列进行切片吗?使用以下代码:r = pd.
DataFrame
.from_
csv
('data/historical_projections.
csv
')结果:有没有办法(我不能让船长工作)来呈现
DataFrame
尽可能干净?谢谢。
浏览 1
提问于2018-11-19
得票数 0
回答已采纳
2
回答
强制
Pandas
( read_
csv
()方法)避免/不将
csv
/txt文件的第一行作为标题
python
、
csv
、
pandas
、
dataframe
但是,在将
csv
读入
dataframe
之后,我注意到我的data.txt文件中的第一行已被作为
dataframe
中的列标题。这将我的数据文件的
大小
从我的文本文件中的600
减少
到599。import
pandas
as pd df = pd.read_
csv
("C:\<my_directory_path>\data.txt)
浏览 3
提问于2015-12-10
得票数 1
回答已采纳
2
回答
想要使用Selenium Python单击download
csv
按钮,但将鼠标悬停在上面时按钮会更改类名吗?
python
、
html
、
selenium
、
csv
、
google-colaboratory
我正在尝试通过单击网站上的下载
csv
按钮来保存
csv
文件。但是,我注意到.click()操作没有做任何事情,并且我发现按钮的类名从'export-button is-
csv
‘变成了'export-button is-
csv
’悬停。options) download_
cs
浏览 14
提问于2021-10-11
得票数 0
回答已采纳
3
回答
Python无法导入
DataFrame
python
、
pandas
我正在尝试使用Python中的
Pandas
来导入和操作一些
csv
文件。我的代码如下:from
pandas
import
dataframe
print(data_df.columns)ImportError: cannot import name
DataFrame
我在Pyth
浏览 0
提问于2015-04-19
得票数 6
2
回答
保存文本数据的大型
Pandas
df到
磁盘
崩溃Colab,因为耗尽了所有的RAM。有解决办法吗?
python
、
pandas
我有一个非常大的
Pandas
数据帧,我想把它保存到
磁盘
上,以便以后使用。数据帧仅包含字符串数据。然而,无论我使用哪种格式,保存过程都会导致我的Google Colab环境崩溃,因为除了
CSV
之外,所有可用的RAM都会用完,
CSV
甚至在5小时后都不会完成。我尝试过to_json、to_feather、to_parquet、to_pickle,它们都会使环境崩溃。sqlalchemy.create_engine("sqlite:&
浏览 2
提问于2019-05-29
得票数 2
1
回答
将传感器数据写入
磁盘
,同时最小化总
磁盘
写入和总文件
大小
python
、
pandas
、
compression
、
disk
、
brotli
etc (many other columns)] data = {jj:[] for jj in columns} newrow =
pandas
.
DataFrame
([data], columns=columns) df =
pandas
.concat([df, newrow]),每次将其写入
磁盘
(就像我在上面的示例中所做
浏览 8
提问于2022-09-08
得票数 1
1
回答
如何使用
pandas
数据帧从
磁盘
读取和写入文件?
python-3.x
、
pandas
因此,我将不能依赖RAM来存储数据,而需要从
磁盘
读取和写入文件。使用
pandas
从
磁盘
读取和写入文件的最佳方式是什么?
浏览 0
提问于2017-09-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
你可能不知道的pandas的5个基本技巧
不容错过的Pandas小技巧:万能转格式、轻松合并、压缩数据
肝了3天,整理了90个Pandas案例
pandas系列学习(三):DataFrame
Pandas 2.0正式版发布:Pandas 1.5,Polars,Pandas 2.0 速度对比测试
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券