腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
Python
pandas
更
快地
读取
多个
CSV
文件
python
、
pandas
、
bigdata
我的程序应该能
读取
大约400.000个
csv
文件
,而且需要很长时间。我
使用
的代码是: for file in self.files: csvData = pd.read_
csv
(file
浏览 7
提问于2019-09-23
得票数 0
回答已采纳
2
回答
在
Python
中
读取
csv
时分隔符不起作用
python
、
csv
、
pandas
下面是我调用
csv
时的代码。df = pd.read_
csv
(file,'rb', delimiter ='\t', engine='
python
')$GPRMC,160330.40,A,1341.因此,我根据($PUBX,00)中的字段数尝试
使用
columns函数。该
文件
变成'MSG type‘中的一列。 成功后,我将这个
csv
称为
csv
的目的是只
读取
$PUBX、
浏览 4
提问于2017-05-31
得票数 0
1
回答
Python
:有没有一种直接简单的方法来删除.
csv
文件
中的一行,而不需要
读取
-删除-重写过程?
python
、
pandas
、
dataframe
、
csv
、
data-processing
我有一个包含数亿行(是的,大数据)的.
csv
文件
,我想
使用
Python
删除它的最后一行。我确实知道一些遵循
读取
-删除-重写过程的方法。例如,
使用
pandas
库,pd.read_
csv
()首先
读取
它,
使用
.drop()删除最后一行,然后
使用
.to_
csv
()覆盖/重写
文件
。这是可行的,但是太慢了,因为这个
文件
包含数亿行……那么,有没有一种
浏览 3
提问于2021-06-14
得票数 0
1
回答
如何
加快数据块到数据帧的转换速度?
python
、
pandas
我尝试
使用
multiprocessing比
使用
read_
csv
更
快地
读取
csv
文件
。df = pd.read_
csv
('review-1m.
csv
', chunksize=10000) 但是我得到的df不是dataframe,而是
pandas
.io.parsers.TextFileReader但此过程需要大量时间,因此结果与直接
使用
read_
csv
没有太大不同。
浏览 0
提问于2017-12-13
得票数 0
1
回答
如何
将
文件
夹中的
多个
ann
文件
(从brat注解)
读取
到一个
pandas
数据帧中?
python
、
pandas
、
dataframe
、
nlp
、
brat
我可以将一个ann
文件
读入
pandas
dataframe,如下所示: df = pd.read_
csv
('something/something.ann', sep='^([^\s]*)\s', engine='
python
', header=None).drop(0, axis=1) df.head() 但我不知道
如何
将
多个
ann
文件
读取
到一个
pandas
数据帧
浏览 6
提问于2021-08-16
得票数 0
回答已采纳
1
回答
为什么当我
使用
modin.
pandas
时,
使用
Pandas
比
使用
Pandas
花费的时间要长[ray]
python
、
pandas
、
ray
、
modin
我只是个
Python
新手,很喜欢用
Python
处理数据。import rayimport modin.
pandas
as md TB = md.read_
c
浏览 1
提问于2021-07-07
得票数 1
回答已采纳
3
回答
使用
boto3从S3存储桶中
读取
多个
csv
文件
python
、
csv
、
amazon-s3
、
boto3
我需要用
python
中的boto3从S3存储桶中
读取
多个
csv
文件
,最后在
pandas
中将这些
文件
合并到单个数据帧中。我能够从以下
python
脚本中
读取
单个
文件
bucket = s3.Bucket('test-bucket') for obj in bucket.objects.all
csv
文
浏览 2
提问于2018-10-17
得票数 6
1
回答
Python
模块对
pandas
.read_
csv
和
Python
对
pandas
.read_excel
python
、
excel
、
csv
、
pandas
在
python
中,我们可以
使用
csv
module或
pandas
.read_
csv
函数来处理
csv
文件
。对于Excel
文件
,我们可以
使用
xlrd module或
pandas
.read_excel函数。 我经常
使用
熊猫,我觉得read_
csv
和read_excel功能对我来说是有用的。
浏览 4
提问于2017-06-01
得票数 3
1
回答
我正在
使用
python
中的
pandas
来
读取
csv
,
如何
传递工作表名称来
读取
特定的工作表?
python
、
pandas
、
csv
我在
python
中
使用
pandas
来
读取
.
csv
文件
,
如何
将表名传递给函数
pandas
.read_
csv
(),以便从特定的表中
读取
数据。
使用
的代码是:pd.read_
csv
("filename.
csv
")
如何
将工作表名称作为参数传递?
浏览 14
提问于2020-03-16
得票数 6
2
回答
访问非常大的
csv
文件
有哪些不同的方法?
python
、
pandas
、
algorithm
、
large-data
、
data-processing
我一直在做一个项目,在这个项目中,我必须尽可能
快地
读取
和处理数百万行的非常大的
csv
文件
。 我偶然发现了一个链接:,在那里作者对访问
csv
的不同方式以及每一步所花费的时间进行了基准测试。我相信它与
python
版本无关,因为
读取
文件
所用的时间是相同的。
使用
pandas
.read_
csv
执行任务,时间比其他方法少,但仍然比上面两种方法慢。os.system
如何
读取
时间
浏览 0
提问于2019-01-15
得票数 0
1
回答
使用
pandas
在
Python
中仅
读取
csv
文件
中的行范围
python
、
pandas
、
csv
我正在尝试用
Python
和
Pandas
读取
csv
文件
,但我的
文件
很大(1 GB),所以我无法
读取
所有数据。通过这个网站,我学会了
使用
nrows从我的
文件
中
读取
行,例如
读取
前75行,但我不能
读取
一系列行。dts = pd.read_
csv
('C:\DtsPMU\dts.
csv
', dtype=float , nrows=75)
浏览 6
提问于2018-09-03
得票数 2
1
回答
AWS Lambda:
使用
Python
从s3存储桶中
读取
csv
文件
尺寸,无需
使用
Pandas
或
CSV
包。
python
、
pandas
、
amazon-web-services
、
amazon-s3
、
aws-lambda
我在一个s3
文件
夹中有
多个
CSV
文件
。我想
使用
不带
Pandas
的
python
和
csv
包(因为aws lambda提供的包非常有限,而且有大小限制),遍历s3存储桶中的
文件
,
读取
csv
维度(行的长度和列的长度)。例如,我的s3
文件
夹包含两个
csv
文件
(1.
csv
和2
csv
),我的代码将遍历指定的s3
文
浏览 41
提问于2019-03-07
得票数 1
回答已采纳
1
回答
在Jupyter Notebook中
读取
一个巨大的.
csv
文件
python
、
pandas
、
csv
、
jupyter-notebook
、
pyarrow
我正在尝试从Jupyter Notebook (
Python
)的.
csv
文件
中
读取
数据。 .
csv
文件
大小为8.5G,7000万行,30列 当我尝试
读取
.
csv
时,我得到了错误。以下是我的代码 import
pandas
as pd log = pd.read_
csv
('log_20100424.
csv
', engine = '
python
'
浏览 136
提问于2020-04-24
得票数 1
3
回答
如何
使用
Pandas
/Dask更
快地
读取
压缩(.gz)
文件
?
python
、
pandas
、
gzip
、
dask
我有几个gzip
文件
(每个3.5 as ),到目前为止,我
使用
Pandas
来
读取
这些
文件
,但它非常慢,我也尝试过Dask,但它似乎不支持gzip
文件
中断。有没有更好的方法来快速加载这些庞大的gzip
文件
?Dask和
Pandas
代码:我希望它能尽可能
快地
浏览 6
提问于2019-08-09
得票数 2
3
回答
pandas
中没有"from_
csv
“方法
python
、
python-3.x
、
pandas
当我尝试在
Python
3.7中
使用
from_
csv
方法时,我收到了属性错误:pd.DataFrame.from_
csv
(adr) 我该
如何
解决这个问题?
浏览 1
提问于2019-08-02
得票数 5
回答已采纳
1
回答
应用服务中将大型
csv
Blob转换为
Pandas
dataframe
python
、
pandas
、
azure-web-app-service
、
azure-data-lake
我们将
使用
python
重写这个工具,并计划从datalake gen1中检索
csv
数据(我们已经摄入了这些数据)。 熊猫数据只能从本地
文件
创建,而不能直接从存储中创建。这意味着我们必须从datalake下载
csv
,将其转换为熊猫数据,然后执行我们的
python
算法。当
文件
被下载到本地存储时,这将占用应用程序服务上的磁盘存储空间,该应用程序服务的容量限制为250 is。
文件
可以相当大(>5GB),并且可以有
多个
文件</em
浏览 7
提问于2022-02-10
得票数 -1
2
回答
将基于web的.txt
文件
导入
python
python
、
data-import
我认为这很简单,但我找不到一个有效的答案。数据导入似乎起作用了,但是分隔"/“数字并不能实现下面的代码。谢谢你的帮助。 import urllib.requesturl = "http://jse.amstat.org/v22n1/kopcso/BeefDemand.txt"content = f.read()co
浏览 26
提问于2020-07-10
得票数 1
回答已采纳
2
回答
如何
使用
数据提供程序
读取
python
中的excel
文件
python
、
python-2.7
在
python
中有没有办法
读取
excel
文件
,就像我们在testng中有数据提供程序一样?我有一个test方法(
使用
python
单元测试框架),从这个测试中我调用了另一个实际
读取
excel工作表的方法,我只想要一些类似数据提供程序的东西,这样每个数据都应该被视为新的测试用例。
浏览 3
提问于2020-06-23
得票数 0
1
回答
表中包含
csv
文件
中的html和javascript。
javascript
、
html
、
csv
、
html-table
我想了解
如何
使用
Javascript和Ajax的数据。
浏览 1
提问于2018-11-23
得票数 0
回答已采纳
1
回答
在
Python
中加载包含非结构化文本的txt
pandas
、
text
我找到了一个.txt
文件
,里面有世界上5000
多个
城市的名字。链接is here。里面的文字乱七八糟。我想,在
Python
中,
读取
文件
并将其存储到列表中,这样我就可以随时搜索城市的名称?我尝试将其作为数据帧加载,
使用
import
pandas
as pd cities = pd.read_
csv
('cities15000.txt',error_bad_lines=False)有没有
更
简单的方法来实现这一点?提前感
浏览 12
提问于2021-07-18
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python使用pandas读取Excel文件多个WorkSheet的数据并绘制柱状图和热力图
Python初学者基础之如何读取文件格式
Python读取指定首尾内容的数据
Python数据分析-读取外部数据文件
CSV文件在Python中的几种处理方式
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券