linux 查找重复记录 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

pyspark中对应的行id是什么？

apache-spark、pyspark、netezza

在我们遗留DWH过程中，我们根据传统RDBMS中的rowid查找重复记录并跟踪重复记录。将仅返回对应最大记录的重复记录。即使当我们识别重复记录时，这也有助于识别/跟踪记录。在pySpark中有没有类似的东西？如何在dwh到pyspark dwh转换项目中处理此问题？

浏览 11提问于2019-11-10得票数 0

回答已采纳

1回答

SQL:如何从重复行中选择第一条记录？

sql、sql-server、tsql、duplicates

在执行以下查询以查找副本时select a.* ,count (*) over (partition by a.ID) as tot) ttwhere tt.tot >1我执行了另一个查询以查找非重复记录。(partition by a.ID) as tot) tt及其返回的685条记录我发现在423个副本中有196条不同的记录，如何从重复记录中选择第一条记录

浏览 0提问于2018-03-25得票数 3

回答已采纳

1回答

用于模糊匹配重复数据删除的SQL

sql、duplicates、fuzzy-comparison

---- 1;something1 3;something3 -------------- 1;something1 有没有办法通过SQL对表A执行这种模糊匹配重复数据删除，将表B用作识别出的重复记录的模糊匹配查找表我问的是如何根据

浏览 32提问于2018-09-07得票数 1

回答已采纳

2回答

在SQL中进行分组，并对列进行更改

sql、oracle

从表中查找重复记录SELECT pm_no, revision,gen_date, count(*) FROM calendar_plan_tab

浏览 2提问于2017-12-27得票数 0

回答已采纳

4回答

查找多列重复的mysql

mysql

如何查找多列的重复记录？表有主键(自动增量) ID a_id b_id 1 34 23 3 35 25 例如，我想查找具有相同

浏览 3提问于2011-03-28得票数 2

回答已采纳

1回答

用于查找两个字段差异的sql查询

sql-server-2008

我想找出表中的重复记录，但从结果集中区分出有多少重复记录，以及是否有任何重复记录有不同的字段。[LogFeed]having COUNT(entryId) > 1因此，我要查找以下记录:对于任何重复的

浏览 1提问于2012-10-16得票数 0

回答已采纳

1回答

如何限制在Google表单中填写重复条目

forms、google-apps-script、google-apps

我正在处理一个Google表单，在那里我每分钟都能收到回复。我想限制一些人，如果他们在R列中使用相同的唯一id填写响应，所以基本上当任何人单击提交按钮时，表单应该检查R列中的值与当前表单中的值，并在填写表单时限制用户。任何帮助都将不胜感激。提前谢谢。

浏览 12提问于2016-09-08得票数 0

1回答

从mysql表中删除重复项，但最多允许10个

mysql

我正在尝试找出单个sql语句来删除表中的重复记录，但允许多达10个重复记录。我可以执行以下查询来查找这些重复项，但我不知道要执行什么查询才能删除前10个重复项之外的所有重复项： ip, count(ip) as count FROM

浏览 4提问于2012-02-05得票数 1

回答已采纳

4回答

在提交期间删除错误查询

python、postgresql、sqlalchemy

在我的数据库中，我有一个具有唯一字段的表，并且有一些我插入其中的重复记录。发生这种情况时，会抛出一个错误，说明该字段不是唯一的。由于我一次插入1000条记录，因此回滚不会帮助我跳过这些记录。有没有什么方法可以跳过重复记录的session.merge() (当然不是解析所有记录来查找重复记录)？

浏览 2提问于2012-06-30得票数 2

回答已采纳

1回答

我有一个房地产广告数据集。其中几行是关于相同的房地产，所以它充满了重复，但并不完全相同。删除非常相似的行而不是重复的最佳方法是什么？ ID URL CRAWL_SOURCE PROPERTY_TYPE NEW_BUILD DESCRIPTION IMAGES SURFACE LAND_SURFACE BALCONY_SURFACE ... DEALER_NAME DEALER_TYPE CITY_ID CITY ZIP_CODE DEPT_CODE PUBLICATION_START_DATE PUBLICATION_END_

浏览 0提问于2019-09-14得票数 1

1回答

MySQL有效地标记大表中的重复项

mysql、duplicates、sql-update

我正在处理一个大表，其中包含许多获取数据的事件。我想检查单个事件中的特定列(text或varchar)中是否有重复项，以及在重复出现的每一行中将列duplicity设置为1。由于表中目前有超过10万行，其中约有30000行属于相关事件，因此任何使用子查询的连接都需要几分钟才能完成。DROP TEMPORARY TABLE IF EXISTS table2CREATE TEMPORARY TABLE table2 AS (SELECT *

浏览 1提问于2017-08-10得票数 0

2回答