为什么用pandas read_csv usecols读取少量特定的专栏会如此缓慢？
使用pandas的read_csv函数读取少量特定的列时可能会出现缓慢的情况，这是由于以下几个原因导致的：
- 数据文件的大小：如果数据文件非常大，即使只读取少量特定的列，也需要加载整个文件到内存中，这会导致读取速度变慢。
- 数据文件的格式：如果数据文件是压缩格式（如gzip、zip等），则需要先解压缩文件，然后再读取数据，这会增加读取时间。
- 数据文件的存储位置：如果数据文件存储在网络上或远程服务器上，读取数据时需要通过网络传输，网络延迟和带宽限制可能导致读取速度变慢。
- 数据文件的结构：如果数据文件中存在复杂的数据类型、嵌套的结构或大量的缺失值，读取时需要进行额外的数据解析和处理，这会增加读取时间。
为了解决这个问题，可以考虑以下几个优化方案：
- 使用usecols参数：确保在读取数据时只选择需要的列，避免读取不必要的数据，从而减少内存占用和读取时间。
- 优化数据文件格式：如果可能的话，可以将数据文件转换为更高效的格式，如Parquet、Feather等，这些格式可以提供更快的读取速度和更小的文件大小。
- 使用适当的数据存储位置：将数据文件存储在本地磁盘上，避免通过网络传输数据，可以提高读取速度。
- 数据预处理：在读取数据之前，可以对数据文件进行预处理，如删除不必要的列、转换数据类型、处理缺失值等，以减少读取时的额外处理时间。
- 使用更高性能的硬件：如果可能的话，可以考虑使用更高性能的硬件，如SSD硬盘、多核CPU等，以提高读取速度。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云对象存储（COS）：提供高可靠、低成本的云端存储服务，适用于存储和处理大规模非结构化数据。详情请参考：https://cloud.tencent.com/product/cos
- 腾讯云数据万象（CI）：提供图片、视频等多媒体资源的存储、处理和分发服务，可用于实现图片、视频的智能化处理和加速分发。详情请参考：https://cloud.tencent.com/product/ci
- 腾讯云云服务器（CVM）：提供弹性、安全、稳定的云服务器，可满足各种计算需求，适用于部署应用程序、搭建网站等场景。详情请参考：https://cloud.tencent.com/product/cvm
请注意，以上链接仅供参考，具体产品选择应根据实际需求进行评估和决策。
相关·内容
1回答
我很难在IDL中找到一个函数来复制我在Python中用Pandas所做的事情。我是IDL的新手，几乎没有任何资源是我能找到的。
在Python中，我使用以下内容：
pd.read_csv('<csv filepath>', usecols=[n])
usecols部分只会拉进我想要的数据帧中CSV的列。在IDL中有办法做到这一点吗？
我希望这是有意义的-我在这里的第一篇帖子！
谢谢。
浏览 1提问于2018-10-03得票数 1
回答已采纳
1回答
我正在处理一个CSV格式的大型数据集。我正在尝试一列一列地处理数据，然后将数据附加到HDF文件中的框架中。所有这些都是用Pandas来完成的。我的动机是，虽然整个数据集比物理内存大得多，但列大小是可管理的。在稍后阶段，我将一个一个地将列加载回内存并对它们进行操作，从而执行按特性进行的逻辑回归。
我能够创建一个新的HDF文件，并使用第一列创建一个新的框架：
hdf_file = pandas.HDFStore('train_data.hdf')
feature_column = pandas.read_csv('data.csv', usecols=[0])
hd
浏览 3提问于2013-12-06得票数 10
回答已采纳
我正在尝试使用pandas从S3存储桶中存在的CSV文件中读取数据。然而，有时CSV文件只有1列，这是我不想解析的东西。我只想解析其中有超过1列的CSV。谁能告诉我要检查的条件是，如果列数> 1，那么只解析文件，否则退出循环。下面是我正在尝试的代码。 body = csv_obj['Body']
csv_string = body.read().decode('utf-8-sig')
df = pd.read_csv(StringIO(csv_string),usecols = [3,4,6]) 下面是我尝试的第二个代码，但得到了错误：File "
浏览 9提问于2019-09-06得票数 0
对我来说，远程工作意味着访问服务器上的大CSV文件，这需要很长时间才能下载到本地硬盘上。
我已经尝试使用一些Python来加速这个过程，只读取我需要的特定列。然而，理想情况下，如果我只能在日期之后读取这些列的数据(例如> 2019-01-04)，这将显著减少数据量。
我的现有代码将读取总文件，然后应用日期过滤器。我只是想知道是否有可能首先将日期过滤器应用于文件的读取。我知道这可能是不可能的。
代码例如...
import pandas as pd
fields = ['a','b','c'...]
data1 = pd.read_csv(
浏览 0提问于2021-02-04得票数 2
1回答
我正在为一个将解析METARs (机场时时天气报告)的项目编写代码。我正在尝试使用csv文件(见post结尾)。我想知道我的代码在哪里出错，因为我得到了一个错误。我在想，这是我的数组，但我不知道在哪里。我的代码
from time import sleep
import os
import pandas as pd
os.getcwd()
os.chdir('/home/pi/wmap')
i=2
while i==2:
n=0
t12=pd.read_csv('mtr.csv', usecols = ['ASOS'])
浏览 1提问于2020-12-14得票数 3
回答已采纳
我在从Excel文件中读取数据时遇到了一些问题。Excel文件包含带有unicode字符的列名。
由于一些自动化原因，我需要将usecols参数传递给pandas.read_excel函数。
问题是，当我不使用usecols参数时，数据就没有错误。
下面是代码：
import pandas as pd
df = pd.read_excel(file)
df.colums
Index([u'col1', u'col2', u'col3', u'col with unicode à', u'col4'], dtyp
浏览 1提问于2019-03-19得票数 2
回答已采纳
我用熊猫来装载数千辆越野车。然而，我只对一些专栏感兴趣，这些专栏可能并不是所有的CSV都会出现。
如果指定的列名在其中一个CSV中不存在，则该参数似乎不起作用。什么是最好的解决办法？谢谢
import pandas as pd
for fullPath in listFilenamesPath:
df = pd.read_csv(fullPath, sep= ";" , usecols = ['name','hostname', 'application family'])
df.to_csv(fullPath,
浏览 0提问于2019-09-07得票数 0
回答已采纳
1回答
我使用下面的代码来读取CSV文件块使用熊猫read_csv
headers = ["1","2","3","4","5"]
fields = ["1", "5"]
for chunk in pandas.read_csv(fileName, names=headers, header=0, usecols=fields, chunksize=chunkSize):
有时我的CSV没有列"5“，我希望能够处理这种情况并指定一些默认值。有没有一种方法只读取我的CSV文件的头而不
浏览 1提问于2017-08-02得票数 3
回答已采纳
因此，我有8个不同的.txt文件，我想从其中获取一个数据列，并创建一个包含所有这些数据列的csv文件。我用这个得到了我想要的专栏：
china_data = pd.read_csv('China results.txt', header=None, usecols=[0], sep='\t')
但我找不到任何地方解释如何将这些列的数据添加到单个csv文件夹中。
我见过
f.open("filename", "w")
但我不确定我能不能用它来做我想做的事。
编辑:我要合并的文件有这样的格式，
0
0
浏览 2提问于2021-03-08得票数 0
回答已采纳
我正在尝试使用python中的熊猫从CSV文件中读取一组非常大的数据。我需要将数据分解成几个部分来接受，因此我想先取一半行，然后再取另一半行。
我看到在read_csv中有块状参数。然而，我似乎想不出如何在读取矩阵或稀疏矩阵后将其全部放入矩阵或稀疏矩阵中。
wow = pd.read_csv('TestingCSV.csv', sep=',', header='infer', low_memory=False, chunksize=10, usecols=(range(3, 5)))
它返回一个类型：<class 'pandas.i
浏览 2提问于2015-10-29得票数 0
回答已采纳
我试图从csv中读取一列(带有标题‘肽序列’)。然而，这给了我错误的标题。我知道这可能与编码有关，我对此知之甚少。有什么快速的解决办法吗？
import pandas as pd
file = r'C:\...\thpdb.csv'
df = pd.read_csv(file, usecols=['Peptide Sequence'])
print(df)
浏览 7提问于2022-06-26得票数 0
回答已采纳
2回答
我想使用Pandas将本地计算机上的CSV文件包含到Jupyter Notebook中，但每次都会出现未找到文件的错误。
我尝试包含使用不同目录的文件，并像以前一样使用r作为文件路径。
import numpy as np
import pandas as pd
import warnings
warnings.filterwarnings('ignore')
df=pd.read_csv(r'C:\Users\shrey\Desktop\MINDTREE.csv')
The error message I am getting is the followin
浏览 15提问于2019-07-06得票数 0
我试图使用pandas.read_csv读取gzip文件，如下所示：
import pandas as pd
df = pd.read_csv("data.ZIP.gz", usecols=[*range(0, 39)], encoding="latin1", skipinitialspace=True)
但是它抛出了这个错误：
ValueError:传递的标题名称不匹配
但是，如果我从gz文件中手动提取zip文件，那么如果能够读取数据而没有错误，那么read_csv：
df = pd.read_csv("data.ZIP", usecols
浏览 11提问于2022-08-10得票数 0
回答已采纳
如何在预期列上设置默认值，而在csv上却找不到？因为我的csv文件头不一致。我想添加具有默认值的列。
ValueError: Usecols do not match columns, columns expected but not found: ['Gender']
这是我的达克/熊猫read_csv电话，
df=dd.read_csv(filepath, low_memory=False,
usecols=cols,
#usecols=lambda c: c in set(cols),
sep = ",", header = 0, encoding =
浏览 10提问于2022-09-05得票数 0
在我的csv文件的开头有一些垃圾文件，使我无法按名称选择我的数据帧的第一列。
示例：
In[1]: df = pd.read_csv('file:inputdata.csv', usecols=[0], nrows=1)
In[2]: df
Out[2]:
TAB
0 10-LV_Non
In[3]: df['TAB']
Out[3]: <snip> KeyError: 'TAB'
我通过使用open()读取文件找到了垃圾文件：
In[4]: with open('inputdata.csv',
浏览 0提问于2016-01-22得票数 3
我有一些文本文件，格式如下：
000423|东阿阿胶| 300|1|0.15000| |
000425|徐工机械| 600|1|0.15000| |
000503|海虹控股| 400|1|0.15000| |
000522|白云山Ａ| |2| | 1982.080|
000527|美的电器| 900|1|0.15000| |
000528|柳 工| 300|1|0.15000| |
当我使用read_c
浏览 2提问于2012-03-14得票数 8
回答已采纳
1回答
我正试着把CSV文件加载到熊猫的数据中。CSV是分号分隔的。文本列中的值以双引号表示。
有问题的文件：
在其中一个文本列('TYTUL')中，我具有以下值：
"00 307 1457 212“
我将该列指定为str，但当我将结果打印或导出到excel时，将得到
003071457212
而不是
00 307 1457 212
如何防止熊猫移除空间？
这是我的代码：
import pandas
df = pandas.read_csv(r'file_01.csv'
,sep = '
浏览 2提问于2017-03-04得票数 1
下面的工作与预期的一样。有190列都被完美地读取了。
pd.read_csv("data.csv",
header=None,
names=columns,
# usecols=columns[:10],
nrows=10
)
我以前使用过usecols的论点，所以我很困惑为什么这不再适用于我。我想，简单地切片前10个列名就可以了，但是我继续得到“传递的标题名称不匹配usecols”错误。
我用的是熊猫0.16.2。
pd.read_csv(&#
浏览 0提问于2015-06-24得票数 7
回答已采纳
我一直在努力寻找从S3中读取大型csv文件( 10+，百万条记录)并对其中一列(总行数和平均值)执行几个简单操作的最快方法。我已经运行了几个测试，到目前为止最快的是创建一个dask数据帧，但我想知道是否有其他的替代方案可以让事情变得更快。
有什么建议吗？谢谢!
测试1. Pandas读取csv: 92.36531567573547秒
start_time = time.time()
s3 = boto3.client('s3')
path =my_csvS3
use_column=['tip_amount']
df= pd.read_csv(path,useco
浏览 6提问于2021-02-14得票数 0
2回答
我有一个按时间索引的pandas.DataFrame，如下所示。时代到了。当我绘制第二列时，这些时间值显示在x轴上。我希望在分钟内有一个更易读的时间:秒。
In [13]: print df.head()
Time
1481044277379 0.581858
1481044277384 0.581858
1481044277417 0.581858
1481044277418 0.581858
1481044277467 0.581858
我已经尝试过一些熊猫函数，以及一些转换整个专栏的方法，我访问了：，this 和酷。
我正在使用pandas 0.18.1
浏览 3提问于2017-02-11得票数 2
回答已采纳
我有一个csv列标题："Submission S tatus"
csv标头：
Unit,Publication ID,Title,"Submission S
tatus",Notes,Name,User ID
在使用usecols参数读取数据帧时(或者稍后重命名时)，如何引用此参数？
我试过了：
df = pd.read_csv('myfile.csv', usecols = ['Submission S\ntatus']
错误：Usecols do not match columns, columns expected but
浏览 0提问于2020-02-06得票数 3
嗨，我用熊猫把一个专栏转换成一个月。当我读取我的数据时，它们是对象：
Date object
dtype: object
因此，我首先让他们约会的时间，然后尝试把他们作为一个月：
import pandas as pd
file = '/pathtocsv.csv'
df = pd.read_csv(file, sep = ',', encoding='utf-8-sig', usecols= ['Date', 'ids'])
df['Date'] = pd.to_dat
浏览 13提问于2015-10-27得票数 67
回答已采纳
我正在尝试使用python实现线性回归。
我完成了以下步骤：
import pandas as p
import numpy as n
data = p.read_csv("...path\Housing.csv", usecols=[1]) # I want the first col
data1 = p.read_csv("...path\Housing.csv", usecols=[3]) # I want the 3rd col
x = data
y = data1
然后，我尝试获得系数，并使用以下方法：
regression_coeff = n.pol
浏览 0提问于2016-04-01得票数 3
回答已采纳
我有文本文件，其中包含以下信息
# Column1 Column2
10 12
15 7
20 9
30 11
40 20
60 25
我试过像这样读这个文件
import numpy as np
import pandas as pd
file =pd.read_table("results.txt",sep="\t")
print(file.head())
其结果是：
# Column1 Column2
10 12
15 7
20 9
30
浏览 21提问于2021-12-15得票数 0
我正在使用Python2.7运行一个脚本，使用熊猫从2个csv文件中读取。我不断收到“无效语法”错误消息，特别是在第6和第8行。我不知道问题出在哪里，因为第6行几乎与第5行相同，而且没有任何错误。非常感谢你的帮助！
import numpy as np
import csv as csv
import pandas as pd
da = pd.read_csv('snp_rs.csv', index_col=(0,1), usecols=(0, 1), header=None, converters = dict.fromkeys([0,1])
db = pd.read
浏览 1提问于2015-10-22得票数 0
回答已采纳
我有一个，我正在读取一个Pandas，虽然下面的代码工作，但它需要9分钟！
有没有人有加快速度的建议？
import pandas as pd
def OTT_read(xl,site_name):
df = pd.read_excel(xl.io,site_name,skiprows=2,parse_dates=0,index_col=0,
usecols=[0,1,2],header=None,
names=['date_time','%s_depth'%s
浏览 12提问于2015-02-27得票数 52
回答已采纳
我有一个包含50列数据的csv文件。我使用Pandas read_csv函数提取这些列的子集，使用usecols参数选择我想要的列：
cols_to_use = [0,1,5,16,8]
df_ret = pd.read_csv(filepath, index_col=False, usecols=cols_to_use)
问题是df_ret包含正确的列，但不是按照我指定的顺序。它们是按升序排列的，所以0、1、5、8、16。(按列号可能从run到run的方式，这只是一个例子。)这是一个问题，因为代码的其余部分都有以“正确”顺序排列的数组，我宁愿不必对所有数组重新排序。
有什么聪明的熊猫可以按规
浏览 4提问于2016-10-13得票数 24
回答已采纳
我得到了以下错误：
pandas.errors.ParserError:在“”之后的“希望的”
原因是因为第一行有不应该存在的'"'：
"Name|Kind|Color|Price
我尝试了以下几点：
`pd.read_csv(filename, sep='|', usecols=fields, engine='python')`
这就产生了上述错误。
pd.read_csv(filename, sep='|', usecols=fields, engine='python', quotecha
浏览 21提问于2020-11-10得票数 1
2回答
文件类型列表声明的问题
、、、、
我的问题是在执行我的python脚本之后，我得到了一个错误，我就是找不出错误是什么！下面是我的代码：
import numpy as np
import pandas as pd
import io
import os
import csv
import sys
from numpy import *
from matplotlib.pyplot import *
import matplotlib.pyplot as plt
import matplotlib as mpl
import time
import pylab
from matplotlib import cm
import m
浏览 0提问于2020-10-13得票数 0
2回答
我有一个csv文件，当使用read_csv时，是否有可能让usecols获取除最后一列之外的所有列，而不列出所需的每一列。
例如，如果我有一个13列的文件，我可以执行usecols=[0,1,...,10,11]。执行usecols=[:-1]会出现语法错误吗？
还有别的选择吗？我正在使用pandas 0.17
浏览 0提问于2015-10-30得票数 17
回答已采纳
我正试着把日子从Days_To_Maturity专栏中删除。所以，不是0天，而是0。我尝试了一些东西，但我想知道是否有一个简单的方法来完成这个内置到python中。谢谢
In[12]:
from pandas import *
XYZ = read_csv('XYZ')
df_XYZ = DataFrame(XYZ)
df_XYZ.head()
Out[12]:
Dates Days_To_Maturity Yield
0 5/1/2002 Days 0 0.00
1 5/1/2002 Days
浏览 4提问于2014-06-28得票数 2
回答已采纳
我尝试从csv格式导入数据库失败，使用下面的脚本：
import pandas as pd
import numpy as np
data = pd.read_csv('banco_aglomerado.csv')
然而，我得到了这样的信息：
---------------------------------------------------------------------------
ParserError Traceback (most recent call last)
<ipython-input-
浏览 0提问于2020-05-14得票数 0
我有如下的CSV数据，
Schedule Start Time Schedule End Time Interval System IP - Login User
3-30-2018 1:22 03-30-2018 02:21 00 hour 5 minute 10.1.1.3
Grep Command Result
Schedule Time ECM MAC ImageName
03-30-2018 01:22 B4:A5:EF:F2:27 UNAVAILABLE
03-30-2018 01:27 B4:A5:EF:F
浏览 1提问于2018-03-31得票数 0
回答已采纳
通过读取与python熊猫一起的csv文件，并试图更改编码，因为一些德国字母，seams Azure始终保持相同的编码(假设默认)。
无论我做了什么，总是在Azure门户上得到相同的错误：'utf-8'编解码器无法解码0位置的字节0xc4 :无效的连续字节堆栈
即使我设置、uft-16、latin1、cp1252等，也会出现相同的错误.
with pysftp.Connection(host, username=username, password=password, cnopts=cnopts) as sftp:
for i in sftp.listdir_attr():
浏览 2提问于2021-11-07得票数 0
回答已采纳
我开始读Nunez-Iglesias et的。在打开书中的第一个数据集(一个.txt文件)时，作者使用
filename = 'data/counts.txt'
with open(filename, 'rt') as f:
data_table = pd.read_csv(f, index_col=0) # Parse file with pandas
但是我认为会关闭这个文件，因为它是在打开一个文件描述符(参见 )。
那么，这里的上下文管理器有什么用途吗?还是我们可以安全地编写
filename = 'data/counts.txt'
浏览 0提问于2017-09-18得票数 5
回答已采纳
2回答
这是我的密码：
import os
import pandas as pd
path = os.getcwd()
files = os.listdir(path)
df = pd.DataFrame()
for f in files:
data = pd.read_csv(f, usecols = ['A','B','C','D','E'])
df = df.append(data)
我得到回溯：
File "C:\Users\dbhadra\AppData\Local\Conti
浏览 0提问于2019-05-09得票数 0
回答已采纳
2回答
我已经使用pandas read_csv命令从网页中提取了数据。在提取数据之后，我删除了第一个到行的索引，并转换了列索引。但是，当我尝试将索引转换为日期列时，每次都会出现错误。以下是代码。
df=df.ix[2: , ]
df.columns=['Date','Open','High','Low','Close','Volume']
#df=pd.DataFrame(df,index=df.ix[:,0])
#df=pd.DataFrame(df,index='
浏览 14提问于2017-02-21得票数 0
回答已采纳
在读取csv文件时，我正在尝试读取选定的列。假设csv文件有10列，但我只想读取5列。有没有办法做到这一点？
Pandas我们可以使用usecols，但是在pyspark中也有可用的选项吗？
df=pd.read_csv(file_path,usecols=[1,2],index_col=0)
Pyspark：
?
浏览 6提问于2021-03-04得票数 1
1回答
当我打印值的时候，它是正常的。但最终它会给出一个错误，因为b‘弄乱了名称。我正在读取文件f0.txt、f1.txt；计划修改它们并使用相同的名称保存它们。
在这里尝试了提供的utf-8解码解决方案，但不起作用。
path ='/kaggle/input/'
print (path)
i = 1
part = 'f' + str(i)
print (part) #the byte literal symbol b' doesn't appear here
for i in range(0,3):
part = 'f' + s
浏览 10提问于2019-08-06得票数 0
import pandas as pd
sea_level_df = pd.read_csv(r"C:\Users\slaye\OneDrive\Desktop\SeaLevel.csv")
display(sea_level_df)
我试图删除该文件的前3行，而不逐字逐句地突出显示实际文件中不需要的文本并按退格。有什么办法能在蟒蛇身上做到吗？
这是csv文件的顶部：
#title = mean sea level anomaly global ocean (66S to 66N) (Annual signals retained)
#institution = NOAA/L
浏览 7提问于2022-10-17得票数 0
回答已采纳
我有一个三列多行的.csv文件。我正在尝试使用pandas来只读第三列。
现在我有：
import pandas as pd
pd.read_csv(r"C:\test.csv",usecols=(3))
浏览 2提问于2016-08-02得票数 26
回答已采纳
我想读取作为命令行参数发送的csv文件。我以为我可以直接使用argsprase的FileType对象，但是我得到了错误。
from argparse import ArgumentParser, FileType
from pandas import read_csv
if __name__ == "__main__":
parser = ArgumentParser()
parser.add_argument("input_file_path", help="Input CSV file", type=FileType(
浏览 1提问于2021-03-17得票数 1
回答已采纳
当我尝试使用x = pandas.Series.from_csv('File_name.csv', header = None)时，它会抛出一个错误: IndexError:单位置索引器是不允许的。
但是，如果我将它读为dataframe，然后提取系列，它就可以正常工作了。x = pandas.read_csv('File_name.csv', header = None)[0]
第一种方法会有什么问题？
浏览 2提问于2017-04-02得票数 4
回答已采纳
1回答
从头开始的KNN算法
、、、、
我正试图从头开始执行KNN算法，但是我得到了一个非常奇怪的错误："KeyError: 0“。
我想这意味着我在某个地方有一本空字典，但我不明白这怎么可能。为了清楚起见，我可能会在黑匣子KNN算法中添加数据工作得很好，所以它肯定必须在代码中.
这是我的密码：
import numpy as np
import pandas as pd
import csv
import scipy.stats as stats
import math
from collections import Counter
import operator
from operator import itemgett
浏览 4提问于2017-05-02得票数 0
我正在尝试处理谷歌电子表格中的数据，将其读取到csv中，然后使用pandas.read_csv()将其作为数据帧进行处理。 我可以将csv读入一个变量(下面的变量"data“)，但不能对该变量使用pandas.read_csv()。我尝试过将其转换为字符串，使用os.cwd()等。 r = requests.get('I put my google sheets url here')
data = r.text
print(data)
#csv is printed out properly
df = pd.read_csv(filepath_or_buffer
浏览 28提问于2019-07-02得票数 7
回答已采纳
我刚刚开始使用Dask，我正在尝试将不同的csvs组合在一起，其中包含了dtypes中提到的列。我包括了dtypes字典来强制csvs中的数据到它们的类型。但是，尽管如此，当我试图将Dataframe保存为一个拼花文件时，我会遇到这个错误。奇怪的是，当我执行Dst Port时，int64字段仍然是"int64“，所以我不知道如何以其他方式强制数据类型。
独立的csvs对熊猫和达斯克没有这个问题。在我把它们组合起来之前，它只会抛出这个bug。为什么这真的会发生，我该如何解决呢？
import dask.dataframe as dd
import pandas as pd
from nu
浏览 0提问于2021-06-17得票数 0
回答已采纳
2回答
我没有找到任何相关线索。
我有一个不太大的Excel文件(100 MB)，但是相当大(即35k行的930列)，这就是我的问题。Excel一秒钟就读了这个文件，但是熊猫在我的电脑上至少花了10-20分钟。我尝试了以下几点：
而不是通过提供dtype参数来推断类型。
使用usecols限制列
使用循环中的nrow和skiprows对行进行迭代。
我不能把这个excel转换成csv。
到目前为止，这是我的代码：
df = pd.read_excel("rei_2018/REI_2018.xlsx", engine = "openpyxl", dty
浏览 1提问于2021-06-22得票数 1
我正在尝试使用pandas将csv读取到新的数据帧中。许多列可能只包含数值，但我仍然希望将它们作为字符串/对象导入，而不是具有浮点型的列。 我正在尝试写一些用于数据转换/迁移的python脚本。我不是一个高级的Python程序员，主要是在遇到需要解决的问题时学习。 我要导入的csvs具有不同数量的列，甚至有不同的列标题，并且以任何顺序，我无法控制这些列，因此我不能在read_csv中使用dtype参数显式指定数据类型。我只希望导入的任何列都被视为对象数据类型，以便我可以进一步分析它的数据质量。 例如，我尝试过的一个CSV上的'Staff ID'和'License Nu
浏览 42提问于2019-07-04得票数 0
回答已采纳
1回答
我正在使用pandas合并一些csv文件( csv文件的编号范围可以改变)。当我运行脚本时，似乎自动添加了一列和一行(如下图所示)。 我使用pandas和Python3.7，运行基于windows操作系统的计算机。我使用Excel打开csv文件。 代码如下： import os
import pandas as pd
L_Log= os.listdir('E://PJT/TEST2/')
dfList=[]
for filename in L_Log:
filename = "E://PJT/TEST2/" + filename
type
浏览 12提问于2019-05-22得票数 0
2回答
我希望将.dat文件的数据集转换为csv文件。数据格式看起来像，
Each row begins with the sentiment score followed by the text associated with that rating.
我希望有情感价值的(-1或1)有一栏和文本的评论对应的情感价值有一个评论有一栏。
到目前为止我尝试过的
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import numpy as np
import csv
# read flash
浏览 1提问于2017-10-09得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
