我的源数据在一个TSV文件中,有6列,超过200万行。
以下是我想要实现的目标:
我需要读取源文件中的3列(3,4,5)中的数据,第五列是一个整数。,,
,
下面是我想出来的。
我的问题是:这是一种有效的方法吗?当尝试两百万行时,它看起来可能是密集的。
首先,我创建了一个示例选项卡分离文件,并将其命名为“sample.txt”。它是基本的,只有四行:
Row1_Column1 Row1-Column2 Row1-Column3 Row1-Column4 2 Row1-Column6
Row2_Column1 Row2-Column2 Row2-Column3 Row2-Column4 3 Row2-Column6
Row3_Column1 Row3-Column2 Row3-Column3 Row3-Column4 1 Row3-Column6
Row4_Column1 Row4-Column2 Row4-Column3 Row4-Column4 2 Row4-Column6
然后我有这个代码:
import csv
with open('sample.txt','r') as tsv:
AoA = [line.strip().split('\t') for line in tsv]
for a in AoA:
count = int(a[4])
while count > 0:
with open('sample_new.csv', 'a', newline='') as csvfile:
csvwriter = csv.writer(csvfile, delimiter=',')
csvwriter.writerow([a[2], a[3]])
count = count - 1
发布于 2012-12-22 00:07:17
您应该使用csv
模块来读取制表符分隔值文件。不要一下子就把它读入内存。毕竟,您读取的每一行都包含将行写入输出CSV文件所需的所有信息。始终保持输出文件的打开状态。
import csv
with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
tsvin = csv.reader(tsvin, delimiter='\t')
csvout = csv.writer(csvout)
for row in tsvin:
count = int(row[4])
if count > 0:
csvout.writerows([row[2:4] for _ in range(count)])
或者,使用itertools.repeat()
使用itertools
模块进行重复
from itertools import repeat
import csv
with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
tsvin = csv.reader(tsvin, delimiter='\t')
csvout = csv.writer(csvout)
for row in tsvin:
count = int(row[4])
if count > 0:
csvout.writerows(repeat(row[2:4], count))
https://stackoverflow.com/questions/13992971
复制相似问题