Python删除文件中重复的内容「建议收藏」

全栈程序员站长

发布于 2022-08-31 19:06:35

1.8K0

发布于 2022-08-31 19:06:35

大家好，又见面了，我是你们的朋友全栈君。

1.背景：在将多个文件进行合并时，存在一个问题是许多文件中含有相同的内容，但是希望合并后的文件内容具有唯一性，即文件中的数据唯一，不会有重复的情况

#txt1内容为：	#txt2内容为：	#希望合并后的文件内容为：
123 234 456	123 254 456	123 234 456 254

2.程序核心代码：

"""
class_train.txt文件中包含许多重复的内容，因此
剔除class_train.txt文件中重复的内容
input: class_train.txt
output: train.txt
"""

train_list = ['bottle_train.txt','chair_train.txt','diningtable_train.txt',
              'pottedplant_train.txt','sofa_train.txt','tvmonitor_train.txt']
train = 'train.txt'

train_data = set()

for i in train_list:
  
    f = open(i,'r')

    for line in f:
        if line[12:14] == ' 1': 
            train_data.add(line)
            
    f.close()

outfile=open(train,'w')

for i in list(train_data):
    outfile.write(i)

outfile.close()

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/142656.html原文链接：https://javaforall.cn

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2022年5月2，如有侵权请联系 cloudcommunity@tencent.com 删除

https