使用pandas遍历数十万个csv文件

文章/答案/技术大牛

发布

1回答

python、multithreading、python-3.x、pandas、multiprocessing

我目前正在使用concurrent.futures.ProcessPoolExectutor遍历大量的CSV文件，如下所示： df = pd.read_csv我如何迭代这些文件并将它们附加到一个列表中，然后将它们连接起来，或者尽可能快地将它们直接放到一个数据帧中？可用的资源是64 in和虚拟机中的46个核心。

浏览 10提问于2018-02-15得票数 0

回答已采纳

3回答

对多个文件进行参数化/调度python函数调用

python、multiprocessing、dask

我有几十万个csv文件，我都想应用相同的功能。类似于以下虚拟函数： df = pd.read_csv(fname)由于单独遍历所有文件将花费太长时间，我的问题是，调度和并行执行的最有效方

浏览 3提问于2020-08-05得票数 0

回答已采纳

1回答

AWS Lambda:使用Python从s3存储桶中读取csv文件尺寸，无需使用Pandas或CSV包。

python、pandas、amazon-web-services、amazon-s3、aws-lambda

我在一个s3文件夹中有多个CSV文件。我想使用不带Pandas的python和csv包(因为aws lambda提供的包非常有限，而且有大小限制)，遍历s3存储桶中的文件，读取csv维度(行的长度和列的长度)。例如，我的s3文件夹包含两个csv文件(1.csv和2 csv )，我的代码将遍历指定的s3文件夹，将

浏览 41提问于2019-03-07得票数 1

回答已采纳

2回答

打印文件名&字段数大于“x”的行号

awk、sed

我需要打印文件名&包含7列以上的行号。有几十万个文件。file1.csv-463是指file1.csv在第463行有超过7条记录。我使用awk命令awk -F"," '{print NF}' *在所有文件中打印字段数。我能请你帮忙吗？

浏览 3提问于2022-06-13得票数 1

回答已采纳

2回答

如何调整csv文件的大小

python、pandas、csv

假设我有一个包含1000+行的csv文件。我想删除最后一行，这样我就有了一个恰好1000行的csv文件。另外，有没有使用python (可能是pandas)的快捷方法，因为我有一组2000+ csv文件。提前感谢

浏览 57提问于2020-12-01得票数 0

回答已采纳

3回答

如果单元格使用Python为空，如何删除CSV文件中的行

python、csv

我想要查看大型CSV文件，如果有丢失的数据，我想完全删除该行，这只是行特定的，所以如果有一个单元格=0或没有值，那么我想删除整行。我希望所有列都会出现这种情况，因此如果任何列都有黑色单元格，则应该删除该行，并在更正后的csv中返回校正后的数据。import csv csvreader = csv.reader(csvfile) for row in

浏览 11提问于2022-06-15得票数 0

回答已采纳

1回答

Python与模糊的，熊猫

python、pandas、fuzzy-search

我有两个csv，其中的行可以通过一列中的值进行匹配(在对该列进行了一些调整之后)。在匹配之后，我想从它们两个中提取一些值，并创建一个新的组合行。我为它们想了一个使用csv.DictReader的简单脚本，然后是一个双精度for row2 in csv2: newdict = ... etc 但是，一个文件有900万行，另一个<

浏览 14提问于2017-12-26得票数 0

2回答

Python -基于列对多个文件中的csv数据进行排序

python、file、csv

我有一个包含多个文件的文件夹，每个文件都有不同数量的列。我想遍历目录，打开每个文件并遍历每一行，根据该行中的列数将该行写入一个新的CSV文件。我想要为所有具有14列的行生成一个大的CSV，为所有具有18列的行生成另一个大的CSV，并为所有其他列生成最后一个CSV。import glob impor

浏览 0提问于2018-04-10得票数 0

3回答

迭代CSV文件并打印行时，仅打印第一行

python、csv、pandas

我已经用Pandas加载了一个CSV文件。CSV文件有4000行。它已正确加载。当打印数据框时，将打印全部4000行。但是，当我使用"for“循环遍历各行时，它只打印文件中的第一行。这是我的代码：for sample in df: print sam

浏览 0提问于2016-12-09得票数 2

2回答

使用Python从每行读取CSV文件并发出HTTP

python、csv、http、post、sanitization

我有一个CSV文件，我想读取每一行，并将头与值匹配，以便将HTTP发送到web服务器。下面是CSV文件的一个示例：import pandas as pd url = "h

浏览 3提问于2021-12-23得票数 1

回答已采纳

0回答

无法将excel行与pandas dataframe行数匹配

python、python-3.x、pandas、unicode

我尝试对文件中的Unicode字符进行编码，并将其传递到pandas数据帧中。但是，我在Jupyter notebook中使用df.column.value_counts()获得的唯一行数与同一文件的excel行数不匹配(在删除重复值之后)。我如何解决这个问题？我加载了一个文本文件(以制表符分隔)，并使用encoding = 'ISO-8859-1‘将其转换为pandas数据帧。创建数据帧时，其中一列的唯一行数为66370

浏览 13提问于2019-01-21得票数 0

2回答

如何使用python在csv中查找重复项，然后更改行

python、csv

作为一个小的背景，这是我开始的csv文件。,Mitchell,eli.mitchell@aol.com,,test2 Eli,Simpson,noa.simpson@hotmail.com,test,test2csv_f = csv<

浏览 1提问于2019-07-17得票数 0

1回答

使用Excel创建CSV文件时遇到的问题

python、excel、export-to-csv

我在Excel文件中有一些数据。我想用Python来分析它们。我首先使用这个创建了一个CSV文件。因此，我创建了一个CSV (逗号分隔)文件，其中填充了以下数据：我使用Spyder用Python编写了几行代码：colnames = ['GDP', 'Unemployment', 'CPI', 'HousePricing'] data

浏览 1提问于2018-09-20得票数 0

回答已采纳

1回答

合并具有不规则时间戳和每个文件不同标题名称的CSV列

python、python-3.x、powershell、csv、powershell-3.0

我有很长的CSV文件，每个文件都有不同的头文件。第一列总是一个时间戳，它的时间是不规则的，所以它很少匹配。目前，一个文件夹中最多可以有6个该格式的CSV文件。我想将这些CSV合并到一个文件中，其中所有列都可以根据时间戳进行识别和排序。当时间戳匹配时，数据被合并到其相应的行中。CSV中，并且没有排序。我还尝试了一些来自GitHub的python文件... This one似乎在更换用户方面最有前途，

浏览 17提问于2020-09-26得票数 1

回答已采纳

3回答

熊猫MemoryError当阅读大型CSV和`.iloc`切片栏之后

python、pandas、csv、memory、file-io

我一直试图用Pandas处理1.4GB的CSV文件，但是一直存在内存问题。我尝试了不同的东西，试图使潘达斯read_csv的工作，但没有任何效果。(简单的重开销并不能解释这一点，因为当块数很大时，速度太慢了。我怀疑，在处理每一个块时，熊猫需要先遍历所有的块才能“到达”，而不是直接跳到块的开头。最后，我将CSV文件分成6部分，试着逐个读取它们，但仍然得到了MemoryError。(我在运行下面的代码时监视了python的内存使用情况，发

浏览 3提问于2016-03-18得票数 1

2回答

如何访问excel文件中的urls，并使用漂亮的汤对存储在这些链接中的信息进行抓取？

python、python-2.7、csv、web-scraping、beautifulsoup

我试图访问一组以行形式出现的urls，并从所有这些链接中抓取各自的信息，并将其存储在文本文件中。我有我的链接存储在一个文件- "ctp_output.csv"，目前我能够提取信息直接提供一个单一的链接。需要一些指导。import csvfrom bs4 import BeautifulSoup url = "http://www.thedrum.com/news/2015/07/29

浏览 3提问于2017-07-18得票数 0

回答已采纳

1回答

用蟒蛇熊猫将文本转换为csv

python、pandas、csv

我想将文本文件转换为csv文件。import pandas as pd readfile.to_csv(r'CSV.csv, index=None) 结果：在红色圆圈中，它是添加一个十进制数，跟随数据，它是重复的，我不希望它添加一个十进制数

浏览 4提问于2022-10-19得票数 -1

回答已采纳

1回答

如何使用for循环将NAs替换为一系列行上的平均值

python

因此，从本质上讲，我需要一个for循环来遍历我的整个数据集，并在2011-2019年的范围内替换特定变量的NAs。

浏览 10提问于2020-06-09得票数 0

3回答

从Dask DataFrame中删除列计数不相等的行

python、pandas、dataframe、dask、dask-dataframe

我有一个CSV文件，我想对SQL输入进行规范化。我想要删除每一行，哪里的列计数不等于某一行中的某个数字，这样我就可以忽略坏行，那里可能发生列移位。在过去，我使用AWK来规范这个CSV数据集，但是我想在Python中实现这个程序，以便比GNU并行+ AWK解决方案更容易并行化。编辑：编辑2:{ # ...

浏览 32提问于2022-10-31得票数 2

2回答

Python:如何处理带日期的.CSV？

python、pandas、datetime、import

我在表单中有一个包含数千个数据点的.csv文件：2016-01-01 00:00:00+00:00 3.6 我想导入数据并创建一个

浏览 21提问于2018-08-08得票数 0

回答已采纳

点击加载更多