如何消除文件中的重复行: python

文章/答案/技术大牛

发布

5回答

python、string、file

我们有两个文件:一个包含输入数据，另一个存放结果。文件中的所有信息都以行的形式存在。程序应该在文件中查找重复的行，并且只打印不重复的行。以下是输入数据的示例：appleapplebargainbricksampletexttex

浏览 3提问于2017-02-22得票数 2

2回答

使用Python和Regex查找重复行

python、regex

我被困在一个项目的一个部分，我需要在一个长达1.62亿行的文件中消除重复的行。我已经实现了以下脚本(但它没有删除所有重复的行)：outfile = open('C:\\Users\\Lucasnot a duplicate l

浏览 1提问于2016-03-10得票数 1

2回答

从文件中读取单词/短语，用Java将其区分开来，并写入另一个文件

java、file、sorting、distinct-values

我有一个文本文件，每一行都有一个单词或短语。我如何：把结果写回文件？StackOverflow在其他语言(如、、Python、和 )中也有类似问题的答案。但我无法为Java找到一个。

浏览 6提问于2015-06-19得票数 2

回答已采纳

6回答

如何消除python .csv中的重复行

python

我在.csv文件中有以下值Dan,15,20,20Alex,10,10,10姓氏和值应该保持不变，前一个应该被删除。例如，以下两个应该重写到.csv文件中，其他内容都删除了：Alex,11,20,30 这听起来比实际要容易得多，我真的需要这个排序算法的帮助。

浏览 6提问于2022-10-01得票数 1

回答已采纳

1回答

如何消除python函数中的重复行

python、python-2.7、paramiko

下面是python函数，每个函数将在大多数python函数中使用相同的重复行(超过200个函数)。 remote_conn = remote_conn_pre.invoke_shell() 在上面的函数中是由另一个脚本

浏览 2提问于2017-04-24得票数 0

1回答

如何使用python删除文件中相同的相邻行/行？

python、scripting

我有一个具有相同/重复相邻行(n号)的文件，有办法从文件中删除这些重复的相邻行吗？？我的文件看起来是这样的：python is good python is best Bestpy

浏览 6提问于2014-10-11得票数 0

回答已采纳

6回答

java高效重复数据消除

java、large-data-volumes

假设你有一个很大的文本文件。每一行都包含一个电子邮件id和一些其他信息(比如一些product-id)。假设文件中有数百万行。您必须将此数据加载到数据库中。您将如何有效地消除重复数据(即消除重复数据)？

浏览 0提问于2010-02-25得票数 3

1回答

如何捕捉副本？

excel、postgresql、python-2.7、psycopg2

我对Python比较陌生，我正在将Excel导入到postgreSQL中。Excel中的address列有我想要捕获的重复项。最可行的方法是什么。password="PASS", host="YES", port="DB")delete = """Drop table if exists "Python</e

浏览 5提问于2016-10-03得票数 0

回答已采纳

1回答

如何消除重复行？

tsql、duplicates

我带着我最初的疑问回来了，我只想问一个问题(ps:我知道我必须投票和重新投票，我保证我今天会这么做) 使用下面的查询( there )，我得到了正确的结果，只是现在有重复的结果。我一直在阅读，并认为我可以使用分区的语法-你能告诉我如何结合分区的语法吗？谢谢比尔和其他人的帮助(我还在学习！)

浏览 1提问于2010-04-21得票数 2

3回答

德尔塔湖表重复数据消除

apache-spark、databricks、delta-lake

我使用的是Databricks。当我们添加新条目时，我们使用merge into来防止重复项进入表中。然而，重复项确实进入了表中。我不知道这是怎么发生的。也许merge into条件没有正确设置。有什么方法可以检测并删除表中的重复项吗？我找到的所有文档都展示了如何在合并之前对数据集进行重复数据删除。这一次什么也没有，副本已经在那里了。如何删除重复

浏览 1提问于2020-10-13得票数 0

1回答

Python中不返回任何元素的巨大列表

python、list、file、csv、size

我有一个CSV文件，比如：1457;soccer...with open('/Users/someone/Desktop/python/sports.csv', 'r') as file1: i = i + 1 当我打印

浏览 0提问于2016-10-26得票数 0

3回答

Python读取一个巨大的文件并消除重复行。

python、large-files

我有一个巨大的文本文件，有重复的行。大小大概是150000000行。我想找出最有效的方法来阅读这些行和消除重复。我所考虑的一些方法如下：读取整个文件，做一个列表(设置(行))。一次读10k行，在我所拥有的内容上做一个列表(设置(行))，在列表中再读10k行，做一个列表(设置(行<

浏览 0提问于2015-04-26得票数 5

2回答

如何消除MySQL中的重复行

mysql

可能重复： 22205 | 2179 | 85 11164 | 2179 | 17822203 | 2179 | 314我正在试图找出一个查询，它允许我删除第三列的副本。但是要记住，只要第二列不重复，它就可以复制，所以最终结果应该如下所示： 8306 | 2179 | 178 22203 | 2179 | 31

浏览 3提问于2012-06-25得票数 1

回答已采纳

1回答

我有一个Excel电子表格，其中包含客户id号，以及我们为该客户收集的所有电子邮件地址。每个客户有一行，接近10,000行。在大多数情况下，同一电子邮件地址会出现多次。我想将每个客户的地址列表合并为一个唯一的列表。我找到了许多有用的文章，介绍了如何从出现在不同行中的数据中获取唯一值，但此任务需要从不同列中获取唯一值。| myemail@example.com | example@gmail.com

浏览 0提问于2013-08-30得票数 0

2回答

如何连接一组独立的Python程序

python

我的任务是在下面的文件中删除重复的名字 "Amazon.com，Inc.“Ambac私人amb lim第一步:将“私人”改为"pvt"，"Limited“改为

浏览 7提问于2012-01-23得票数 0

2回答

使用awk或sed从多个文件中删除重复行

linux、awk、sed

我想知道如何从多个文件中消除重复行。我使用这个命令获取重复行，但它只显示了相同的行：例如，如果我有以下文件：AAATTTfile1.txt：BBBfile2.tx

浏览 3提问于2015-09-09得票数 1

回答已采纳

1回答

OpenStack (Swift)或CEPH重复数据删除功能？或任何重复数据消除HA存储群集解决方案？

owncloud、openstack-swift、ceph、glusterfs、openstack-cinder

对于owncloud (或nextcloud)项目，我们需要添加大量的存储，我已经检查了所有选项，例如: CEPH、Openstack Swift/Cinder、GlusterFS、SDFS和Tahoe-lafs有了这项服务，我们希望用户添加许多相同的文件，这就是为什么重复数据删除对我们非常重要。到目前为止，用于群集存储数据重复数据消除的唯一解决方案是SDFS和Tahoe-lafs。然而，我们担心的是这两个是Java和Python</

浏览 2提问于2017-05-24得票数 2

1回答

删除包含相同信息但顺序不同的行

text-processing、scripting

假设我有两行(在txt文件中)Tuesday, Monday, Week 它们包含相同的信息，但是信息(第一列和第二列)在每一行中的顺序不同，所以我不能简单地使用sort或uniq来消除它们。如何删除包含相同信息的所有重复行？

浏览 0提问于2016-11-24得票数 4

2回答

计数列中的数字不是重复的

xls、xlsx

我有一个大约有5500行的XL文件。其中一列是所有重复的数字，比如邮政编码。如何计算该列中有多少个数字，但又要消除重复项呢？例如，该列中可能只有250个邮政编码。我怎么才能算出来呢？

浏览 1提问于2014-08-08得票数 0

1回答

在行组中，在group on之前进行SSRS排序

sorting、reporting-services、ssrs-2008

我在一份错误分组的报告中遇到了这一点。如何将只需要最早日期的行组的"group on“设置添加到行组

浏览 0提问于2014-10-18得票数 0

点击加载更多