读取和解析TSV文件，然后操作它以保存为CSV (*efficiently*)
读取和解析TSV文件，然后操作它以保存为CSV (*efficiently*)
提问于 2012-12-21 23:38:50
我的源数据在一个TSV文件中，有6列，超过200万行。
以下是我想要实现的目标：
我需要读取源文件中的3列(3，4，5)中的数据，第五列是一个整数。，，
- ，
，
- ，
- 。我需要使用这个整数值来复制一个行条目，并使用第三列和第四列中的数据(按整数倍)。
- 我要将#2的输出写入CSV格式的输出文件。
下面是我想出来的。
我的问题是:这是一种有效的方法吗？当尝试两百万行时，它看起来可能是密集的。
首先，我创建了一个示例选项卡分离文件，并将其命名为“sample.txt”。它是基本的，只有四行：
Row1_Column1 Row1-Column2 Row1-Column3 Row1-Column4 2 Row1-Column6
Row2_Column1 Row2-Column2 Row2-Column3 Row2-Column4 3 Row2-Column6
Row3_Column1 Row3-Column2 Row3-Column3 Row3-Column4 1 Row3-Column6
Row4_Column1 Row4-Column2 Row4-Column3 Row4-Column4 2 Row4-Column6然后我有这个代码：
import csv
with open('sample.txt','r') as tsv:
AoA = [line.strip().split('\t') for line in tsv]
for a in AoA:
count = int(a[4])
while count > 0:
with open('sample_new.csv', 'a', newline='') as csvfile:
csvwriter = csv.writer(csvfile, delimiter=',')
csvwriter.writerow([a[2], a[3]])
count = count - 1回答 1
Stack Overflow用户
回答已采纳
发布于 2012-12-22 00:07:17
您应该使用csv模块来读取制表符分隔值文件。不要一下子就把它读入内存。毕竟，您读取的每一行都包含将行写入输出CSV文件所需的所有信息。始终保持输出文件的打开状态。
import csv
with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
tsvin = csv.reader(tsvin, delimiter='\t')
csvout = csv.writer(csvout)
for row in tsvin:
count = int(row[4])
if count > 0:
csvout.writerows([row[2:4] for _ in range(count)])或者，使用itertools.repeat()使用itertools模块进行重复
from itertools import repeat
import csv
with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
tsvin = csv.reader(tsvin, delimiter='\t')
csvout = csv.writer(csvout)
for row in tsvin:
count = int(row[4])
if count > 0:
csvout.writerows(repeat(row[2:4], count))页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/13992971
复制相关文章
相似问题
腾讯云开发者
