如何删除完全重复的行
要删除完全重复的行，可以使用以下方法：
方法一：使用Linux命令
在Linux系统中，可以使用以下命令来删除完全重复的行：
sort file.txt | uniq -u这个命令会先将文件中的行按照字典序排序，然后使用uniq命令删除重复的行。uniq命令的-u选项表示只输出出现一次的行。
方法二：使用Python代码
以下是一个使用Python删除完全重复行的示例代码：
with open('file.txt', 'r') as f:
lines = f.readlines()
unique_lines = []
for line in lines:
if lines.count(line) == 1:
unique_lines.append(line)
with open('unique_file.txt', 'w') as f:
f.writelines(unique_lines)这个代码会读取文件中的所有行，然后遍历每一行，如果该行在文件中只出现一次，则将其添加到unique_lines列表中。最后，将unique_lines列表中的行写入到一个新的文件中。
方法三：使用Excel
在Excel中，可以使用以下步骤来删除完全重复的行：
- 打开Excel，将文件中的所有行复制到Excel中。
- 选中所有行，然后点击“数据”选项卡中的“删除重复项”按钮。
- 在“删除重复项”对话框中，选择所有列，然后点击“确定”按钮。
- 这将删除所有完全重复的行。
注意：以上方法仅适用于完全重复的行，如果只有部分重复的行，则需要使用其他方法来删除重复项。
相关·内容
2回答
如何删除重复行并创建一个没有重复项的新文件？
python、hyperlink、duplicates
我在这里搜索了许多帖子，但是没有一个可以实现到下面的代码中
with open('TEST.txt') as f:
seen = set()
for line in f:
line_lower = line.lower()
if line_lower in seen and line_lower.strip():
print(line.strip())
else:
seen.add(line_lower)
我可以在包含数百个URL的TEST.txt文件中找到重复行。
浏览 5提问于2016-09-20得票数 2
回答已采纳
3回答
从文本文件中删除多个重复行时出现问题
python
我正在尝试从文本文件中删除重复的行，并不断遇到问题...输出文件始终将前两个帐户放在同一行。每个帐户都应该有不同的行...有谁知道为什么会发生这种情况，以及如何修复它？ with open('accounts.txt', 'r') as f:
unique_lines = set(f.readlines())
with open('accounts_No_Dup.txt', 'w') as f:
f.writelines(unique_lines) accounts.txt： @account1
@account
浏览 19提问于2020-09-22得票数 2
回答已采纳
1回答
如何用Python读取和写入文本文件的多行
python、file、readlines
我试图用Python读取和编写多行文本文件。我的目标是指定要用脚本输入来更改的行。当指定一行时，脚本正在工作，但对多行不起作用。
例如，假设我有这个文件：
Item 1
Item 2
Item 3
当尝试对一行执行以下操作时，它运行良好：
a_file = open("filename.yml", "r")
list_of_lines = a_file.readlines()
list_of_lines[1] = "Item: " + (input('Input: ')) + "\n"
a_file = open
浏览 4提问于2020-11-25得票数 0
回答已采纳
3回答
如何在Python中删除.txt文件的前几行？
python、txt
我有一个.txt文件，如下所示：
# Explanatory text
# Explanatory text
# ID_1 ID_2
10310 34426
104510 4582343
1032410 5424233
12410 957422
在该文件中，同一行上的两个is用制表符分隔，制表符编码为'\t'
我正在尝试使用数据集中的数字进行一些分析，所以我想删除前三行。在Python中如何做到这一点呢？也就是说，我想生成一个新的数据集，如下所示：
10310 34426
104510 4582343
1032410 5424233
12410 957422
浏览 0提问于2020-10-19得票数 2
3回答
我试图在python上创建一个记事本，它能够创建一个帐户、登录到该帐户、创建便笺、查看便笺和编辑注释。我知道如何通过检测特定的字符串来附加到文件中的特定行，但这并不适用于将用户生成的输入追加到文件中的用户生成的数据。输出应该是将新数据添加到特定的行，然后能够在以后访问它。
projectnum = int(input(“What line to you want to edit? : “)
user_input = input(“Type what you want to add”)
f = open(user+”.txt”,”a”)
f.write(user_input)
# then I
浏览 3提问于2020-07-24得票数 0
回答已采纳
2回答
从文本文件中删除第二行
python
我读过一些类似于此的问题，但所有的问题都是删除第一行或最后一行，或者删除与指定字符串匹配(或不匹配)的行。
我想要做的是删除文本文件中的第2行，然后用一行移动所有内容，而不是用空格填充第2行。
例如：第3行变成第2行，第4行变成第3行等等。
例如，如果我的输入是：
1
2
3
4
5
我希望输出是：
1
3
4
5
我不能仅仅指定删除一行，如果它与字符串匹配，因为第2行每天根据日期进行更改。
我开始用
with open('file.txt', 'r') as f:
lines = f.readlines()
f.write(lines)
但我想
浏览 6提问于2014-09-18得票数 1
回答已采纳
6回答
删除Python文本文件中的空行/空行
python
我有一个包含以下内容的文本文件：
Line 1
,
,
Line 2
,
Line 3
,
Line 4
我想要创建一个函数，删除行之间的空空格(标记为，以举例说明)。
到目前为止，我已经用以下代码创建了一个函数，但在运行以下代码时没有发生任何事情：
with open('path/to/file.txt', 'r') as f:
for line in f:
line = line.strip()
任何帮助都是非常感谢的。
浏览 10提问于2020-11-05得票数 0
回答已采纳
3回答
查找、打印并移除PYTHON中除一行之外的所有重复行
python、extract、repeat、lines
我有一个很大的文本文件，其中的代码行如下：
data123||data456
data146||data269
data123||data456
data697||data983
data123||data456
我希望找到重复的行，如上面示例中的data123||data456，打印这些行，然后删除文件中该行的所有副本，只保留一个副本。我希望能够提取完全相同的行。
到目前为止，我有以下代码，但是如果它碰巧多次出现，它似乎会打印所有重复的"data###“，而不管与它配对的另一个”data###“。换句话说，我希望提取完整的重复行，而不仅仅是单独的“data#”。
with open(
浏览 3提问于2014-02-20得票数 0
1回答
替换python中的文本文件行。
python、file、replace
我对Python非常陌生，我正试图使用discord.py来制造一个不和谐的机器人，其想法是您可以获得显示在您的个人资料上的硬币。问题是，我需要将配置文件存储在一个文件中，所以看起来如下所示
userID1,10
userID2,20
userID3,30
预期产出：
userID1,10
userID2,120
userID3,30
基本上是“用户的不和谐标识，硬币的数量”，我试图用不同数量的硬币替换这一行，我不知道如何做到这一点而不制作另一个文件。
这就是我现在的全部。
def addExp(userID,Points):
with open(fname) as f:
浏览 1提问于2018-08-21得票数 0
回答已采纳
1回答
读取行，直到某些字符串，然后将其删除
python、python-3.x
我有一个小的python代码，它打开一个文件，读取它直到特定的字符串，打印它。
代码如下：
filename = 'teste.txt'
with open(filename, 'r') as input:
for line in input:
print(line)
if '**==**' in line:
break
打印后，我需要将其从文件中删除，基本上删除直到**==**的行，其他行保持不变。
我试过了：
search = '**==**'
for i, line in enume
浏览 10提问于2020-06-02得票数 0
3回答
用python删除txt文件中的一行
python
我不得不重新回答我的问题，因为它使每个人都把注意力集中在错误的单词上。
很抱歉，这个家伙，但我把我有100行不同的代号
这是我的工作代码
with open("file1.txt","r+") as f:
new_f = f.readlines()
f.seek(0)
for line in new_f:
if "nman" not in line:
f.write(line)
f.truncate()
在文本文件中
Before = file1.txt
"nman&
浏览 11提问于2022-04-23得票数 1
回答已采纳
5回答
在Python中打开用于输入和输出的文件
python、file、python-3.x
我有以下代码，用于删除文件中的特定行。当我运行它时，它会打印目录中的两个文件名，然后删除其中的所有信息。我做错了什么？我在Windows下使用Python 3.2。
import os
files = [file for file in os.listdir() if file.split(".")[-1] == "txt"]
for file in files:
print(file)
input = open(file,"r")
output = open(file,"w")
for li
浏览 0提问于2012-07-26得票数 2
回答已采纳
4回答
删除特定行python之前的所有行
python、file
我有个档案-
First Line
Second Line
Third Line
Fourth Line
Fifth Line
Sixth Line
现在，我想在第四行之后写文件的内容。因此，新文件将是-
Fifth Line
Sixth Line
我的尝试-
cnt=0
for root, dirs, files in os.walk(currentdir):
for name in files:
f = open(root+"/"+name,'r')
lines = f.readlines()
f
浏览 0提问于2018-07-17得票数 1
回答已采纳
2回答
我有一个具有这种格式的文本文件：
1 (101)：3.7e+08 1.2e+02 5.1234 2 1 (101)：3.5e+08 8.2e+02 6.2222 2 2 (101)：1.7e+08 2.2e+02 7.4567 3 1 (101)：8.7e+08 3.2e+02 9.2123
我想把它写成以下格式：
1 3.7e+08 1.2e+02 5.1234 2 3.5e+08 8.2e+02 6.2222 2 1.7e+08 2.2e+02 7.4567 3 8.7e+08 3.2e+02 9.2123
实际上，我试图从每一行中删除第二个和第三个元素/变量。有什么建议吗
浏览 1提问于2017-03-02得票数 0
回答已采纳
4回答
在python中排序和获取文件的uniq行
python、command-line、unique
我总是使用这个命令行来排序和获取uniq行，即使对于大文件(超过500,000行)，它也很有吸引力。
sort filename.txt | uniq | sponge filename.txt
最短的等效python代码将是
f = open("filename.txt", "r")
lines = [line for line in f]
lines = lines.sort()
lines = set(lines)
但这当然是不可伸缩的，因为内存限制和用python编写可伸缩代码需要时间，所以我想知道在python中最短的等效代码(包)是什么
浏览 1提问于2013-11-04得票数 7
3回答
用于删除文本文件中特定行的Python程序
python、text-files
我有一个文本文件Thailand_Rectangle2_National Parks.txt，它有以下几行。
1
2
3
4
5
dy 0.5965
7
现在，我想删除这个文本文件中的第6行。
为此，我使用以下python代码。
f = open("C:/Users/Sreeraj/Desktop/Thailand_Rectangle2_National Parks.txt","r")
lines = f.readlines()
因此，我将这个文本文件的所有行保存在“line”中。
line6 = lines[5]
t = line6[:2]
f.close()
浏览 0提问于2018-02-16得票数 8
回答已采纳
3回答
作为删除一行注释的python文件？
python、file
有人能告诉我如何删除一行注释python文件这样的注释需要删除数百个文件Python如下：
{
'active': False,
'installable': True,
'test': [
# 'Test / purchase_order.yml'
# 'Test / purchase_picking.yml'
# 'Test / purchase_validation.yml'
# 'Tes
浏览 5提问于2014-09-18得票数 0
回答已采纳
2回答
是否打印文本文件中的重复行，然后删除除一个重复行之外的所有重复行？
python、file-io、duplicate-removal
我有一个包含数据行的文本文件，如下所示：
data123||data456
data146||data269
data123||data456
data697||data983
data123||data456
我想先打印重复的行，这样我就可以记录下这些行是什么。然后，我想创建一个新的文本文件，在该文件中，我删除了原始文本文件中那些重复行的所有副本，只保留一个副本。
到目前为止，我有以下代码，但它似乎给了我重复的单独"data###“，而不是它包含的整个行。
with open("file.txt") as f:
seen = set ()
for li
浏览 1提问于2014-03-20得票数 0
3回答
获得重复行和文件的其余部分[大文件50G]
python、sed
我有一个大文件50G，我想得到文件的重复行和其余部分，我使用两个命令来获得结果，这需要很长时间。
sort file.tsv | uniq -d > duplicateList.tsv
sort file.tsv | uniq -u > clean_List.tsv
由于您可以看到这个过程重复了两次，所以我希望只执行一个命令，并返回这两个结果，而不使用重复的命令。
注意:我可以使用linux命令或Python脚本。
浏览 5提问于2021-10-22得票数 4
2回答
使用python从文本文件中删除重复项
python、python-3.x、duplicates、text-files、txt
我有这个文本文件，假设它包含10行。
Bye
Hi
2
3
4
5
Hi
Bye
7
Hi
每次它说"Hi"和"Bye"时，我都希望它被移除，除非第一次这样说。我当前的代码是(是的，文件名实际上指向一个文件，我只是没有把它放在这个文件中)
text_file = open(filename)
for i, line in enumerate(text_file):
if i == 0:
var_Line1 = line
if i = 1:
var_Line2 = line
if i > 1:
浏览 7提问于2022-09-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
