如何删除MySQL表中的重复项
要删除MySQL表中的重复项，您可以使用以下步骤：
- 创建一个新表，用于存储去重后的数据。
CREATE TABLE new_table_name LIKE original_table_name;- 将去重后的数据插入新表中。
INSERT INTO new_table_name (column1, column2, column3, ...)
SELECT DISTINCT column1, column2, column3, ...
FROM original_table_name;- 删除原始表。
DROP TABLE original_table_name;- 将新表重命名为原始表的名称。
RENAME TABLE new_table_name TO original_table_name;这样，您就可以删除MySQL表中的重复项了。
优势
- 去除重复数据，提高数据质量。
- 节省存储空间。
应用场景
- 数据清洗和整理。
- 避免数据冗余和不一致。
推荐的腾讯云相关产品和产品介绍链接地址
相关·内容
当Mysql表中只有一列时，如何去除重复
如果表中有以下行..
mysql> select * from EMP ;
+------+
| id |
+------+
| 10 |
| 10 |
| 10 |
| 20 |
| 20 |
| 30 |
+------+
我需要在删除重复项后的行。
10
20
30
我不想使用任何其他临时表。需要delete查询来删除mysql中的重复项
浏览 5提问于2019-07-17得票数 0
我正在尝试使用ALTER IGNORE table +唯一键来删除MySQL表中的重复项。MySQL文档中写道：
SQL是对标准的MySQL扩展。它控制如果新表中存在唯一键上的重复项，或者在启用严格模式时出现警告，ALTER TABLE如何工作。如果未指定IGNORE，则会在发生重复键错误时中止并回滚复制。如果指定了IGNORE，则在唯一键上具有重复项的行中只使用第一行。其他冲突行将被删除。不正确的值将被截断为最匹配的可接受值。
当我运行查询时...
ALTER IGNORE TABLE table ADD UNIQUE INDEX dupidx (field)
..。我仍然收到错误#106
浏览 64提问于2011-11-09得票数 49
回答已采纳
2回答
我试图使用python将值插入mysql表中，我有一些值，但我不考虑是否重复键/不重复，但我希望插入每个值。
对于mysql代码，我应该做哪些更改来插入副本？
for name,hobby in p:
print name,hobby
cursor.execute(
'''INSERT INTO Details (Names, Hobby)
VALUES (%s, %s)''',
(name,hobby))
我得到了以下错误！
IntegrityError: (1062, "
浏览 4提问于2014-07-29得票数 1
回答已采纳
我的mysql表words中有两列，这些列的名称是wordid，它是主键，其他列是lemma。
我需要从表中删除重复的lemma值。请告诉我如何使用MySQL命令来执行此操作。这是我的表格的一个示例。
wordid || lemma
+--------+--------------------+
148206 || wilful disobedience
149162 || wilful disobedience
149857 || wilful disobedience
浏览 0提问于2017-09-18得票数 0
2回答
我对数据库游戏非常陌生，所以请原谅我的无知。
我正在将数百万行装载到一个结构简单的MySQL数据库表中
SQLStr = "LOAD DATA LOCAL INFILE 'f:/Smallscale/02 MMToTxt/flat.txt'
INTO TABLE `GMLObjects` FIELDS TERMINATED BY ','
LINES STARTING BY 'XXX';"
目前，该表已针对一个字段设置为无重复项。
但是，我想知道是否删除无重复规则并在以后通过使用ALTER TABLE或SELECT DIST
浏览 3提问于2013-05-12得票数 0
回答已采纳
7回答
我有一个桌子的名字叫bursary，
用户名中存在重复条目，如何删除重复条目？
这是我的收费表，
UserID UserName
1 ca11074
2 ca11074
3 cb56456
4 cb56456
我需要删除重复的条目。
在这里我试过了，但不幸的是不起作用。
$sql =
"DELETE FROM bursary
WHERE UserName IN (SELECT UserName FROM bursary (COUNT(*) > 1)";
$result=mysql_query($s
浏览 1提问于2014-12-01得票数 0
如何从MySQL表中删除所有重复数据？
例如，使用以下数据：
SELECT * FROM names;
+----+--------+
| id | name |
+----+--------+
| 1 | google |
| 2 | yahoo |
| 3 | msn |
| 4 | google |
| 5 | google |
| 6 | yahoo |
+----+--------+
如果是SELECT查询，我会使用SELECT DISTINCT name FROM names;。
我该如何使用DELETE来仅删除重复项并保留每个重复项的一条记录？
浏览 1提问于2011-01-14得票数 461
回答已采纳
2回答
我在我的数据库中有一个带有primary_key字符串的表，我设置了这个字符串。在添加之前，我需要经常检查该表中是否存在大约1000个“项”，因为不能有任何重复项。结果是每项查询2次，或总计2000次，即额外加载时间为1-2秒。
如果我尝试无论如何插入新行，而不检查重复项，它就不会被插入，这很好，但是mysql返回一个错误，这会使我的服务崩溃。
我的问题：
我能关掉那些错误吗？
是否有比进行额外查询更好地防止插入重复项的方法？
浏览 2提问于2013-06-18得票数 1
回答已采纳
2回答
我正在使用从第三方源中提取的csv文件填充MySQL表。每天都更新csv，如果出现a、b和c列，我希望更新MySQL表中的行，否则插入行。我使用加载数据填充的初始加载，但我想更新针对每天的csv拉。我熟悉INSERT...ON复制，但不熟悉csv导入的上下文。任何关于如何在INSERT...ON中嵌套加载数据本地信息的建议都会重复a，b，c--或者如果这是最好的方法，我们将非常感激。
LOAD DATA LOCAL INFILE 'C:\\Users\\nick\\Desktop\\folder\\file.csv'
INTO TABLE db.tbl
FIELDS TERM
浏览 1提问于2015-08-25得票数 0
回答已采纳
1回答
我有一个MySQL选择查询，它使用Mysql从6个表中获取数据。下面是我使用的MySQL查询。
SELECT
u.id,u.password,
u.registerDate,
u.lastVisitDate,
u.lastVisitIp,
u.activationString,
u.active,
u.block,
u.gender,
u.contact_id,
c.name,
c.email,
c.pPhone,
c.sPhone,
c.area_id,
a.name as areaName,
a.city_id,
ct.name as cityName,
ct.state_id,
s
浏览 1提问于2011-05-09得票数 0
回答已采纳
我有一个包含一个索引的数据库表，其中keyname是PRIMARY，Type是BTREE，Unique是YES，Packed是NO，Column是ID，Cardinality是728，排序规则是A。
我有一个在页面加载上运行的脚本，它将条目添加到MySQL数据库表中，并从数据库表中删除重复项。
下面是删除重复项的脚本部分：
// Removes Duplicates from the MySQL Database Table
// Removes Duplicates from the MySQL Database Table based on 'Entry_Date'
浏览 0提问于2012-04-17得票数 4
5回答
使MySQL表唯一
、、、
嘿，我创建了一个爬虫来爬行PDF文档，并将文档中的每个单词记录到MySQL数据库的表中。
显然，'the'，'and'，'or‘等词在一本书中出现了很多很多次。
我想知道从表中删除重复值最快的方法是什么？
浏览 0提问于2009-09-30得票数 0
回答已采纳
这个版本适用于较早的mysql版本，但这个查询的好处是它将删除重复项和相同时间的添加索引，如何在mysql 8商业版中这样做？
ALTER IGNORE TABLE tablex
ADD UNIQUE INDEX id_rmd (field1,field12, field3);
SQL错误1064:您的SQL语法出现错误；请检查与MySQL服务器版本对应的手册，以获得使用“忽略表”的正确语法.
我如何在mysql 8广告中做同样的事情。即在创建索引的同时删除重复
浏览 11提问于2021-12-02得票数 0
回答已采纳
1回答
当已经在MySQL表上设置了外键关系时，如何从这些表中删除重复的行。
能否以某种方式合并重复项，然后用新值更新外键？
浏览 0提问于2010-08-04得票数 2
回答已采纳
我需要把这个折痕加到我的桌子上，叫做'kraken‘
ALTER TABLE kraken ADD UNIQUE unique_index(exchange_pair,timestamp);
这显示了我在这2列(exchange_pair和时间戳)上有重复的条目，所以首先我必须根据这2列删除所有重复的条目。
这就是我所发现的，但我不确定我的查询是否有效，因为我只需要删除带有'exchange_pair‘和’时间戳‘列的重复入口，我不想把我的表https://www.mysqltutorial.org/mysql-delete-duplicate-rows/搞得一团糟。
浏览 0提问于2021-02-22得票数 0
回答已采纳
是否可以从mysql中删除完美的重复记录，而无需在单个查询中创建临时表？
INSERT INTO `test` (`fruit`, `price`) VALUES
('apple', 10),
('grape', 50),
('apple', 10),
('orange', 100),
('orange', 100),
('orange', 100),
('pinaple', 200),
('pinaple', 200),
('pinaple', 20
浏览 7提问于2017-11-27得票数 1
我需要合并两个具有相同结构的表，table1和table2。它们大部分都有不同的行，但有些行是重复的。
有没有一种方法可以将table2合并到table1中，同时在一条语句中省略重复的记录？
我是MySQL的新手，如果能得到任何帮助，我将不胜感激。
EDIT:到目前为止，我的查询是这样的：
INSERT INTO table1
SELECT *
FROM table2
因此，我不知道如何有选择地省略重复项。
浏览 0提问于2013-04-21得票数 0
我有一个包含标记信息的mysql数据库，其中一些标记对relation_id和tag_id是重复的。忽略其他字段，是否可以选择(并最终删除)这些字段对是冗余的行？
例如，我有这样一个表：
第二行是重复的，因为它具有与前一项相同的relation_id和tag_id值。第三行很好。第五行是重复的，第七行、第八行等等。
选择这些重复项的mySQL语法是什么？
浏览 2提问于2013-06-01得票数 0
回答已采纳
7回答
我想从我的MySQL表中取出所有记录，并检查是否有重复的记录。我的想法是将它们全部存储在一个数组中，然后检查该数组中是否有重复项。问题是，我的MySQL表中大约有150万行。
这是我到目前为止的代码：
<?php
$con = mysql_connect('localhost', 'root', '');
$sel = mysql_select_db('usraccts', $con);
$users = array();
$q = "SELECT usrname FROM `users`";
$r =
浏览 0提问于2010-01-05得票数 0
25回答
我需要在MySQL表上为指定的sid DELETE重复的行。
如何使用SQL查询执行此操作？
DELETE (DUPLICATED TITLES) FROM table WHERE SID = "1"
就像这样，但我不知道该怎么做。
浏览 94提问于2010-04-13得票数 168
1回答
我有一个MySQL表和大型文本文件，其中的值由制表符分隔。此文件可能包含重复项。这就是一个例子：
foo \t 5
bar \t 42
etc \t 22
bar \t 50
oth \t 12
另外，每个文件可以根据另一个文件包含重复项。例如：
abc \t 33
foo \t 10
我希望将这些文件加载到表中，以便将重复的文件合并(数字之和)。在导入两个文件之后，数据库应该如下所示：
| text | num |
+------+-----+
| foo | 15 |
| bar | 92 |
| etc | 22 |
| oth | 12 |
| abc | 33 |
浏览 0提问于2013-04-06得票数 1
我在通过MySQL工作台访问的项目中使用Amazon。我有一个已经存在的表，在该表中有一个列必须是唯一的。但是在同一列中有一些现有的重复值。
在使用ALTER TABLE table_name ADD UNIQUE(column_name)时，我得到一个错误，即该列中有重复条目。
我搜索web，发现oracle数据库具有NONVALIDATE约束状态，这意味着将检查约束是否为新行或修改行，但现有数据可能会违反约束。
我正在寻找一个类似的解决办法，我的用例，任何帮助将不胜感激。
浏览 8提问于2022-05-09得票数 0
3回答
我在Azure有一张Delta Lake桌子。我使用的是Databricks。当我们添加新条目时，我们使用merge into来防止重复项进入表中。然而，重复项确实进入了表中。我不知道这是怎么发生的。也许merge into条件没有正确设置。
然而，它碰巧有副本在那里。有什么方法可以检测并删除表中的重复项吗？我找到的所有文档都展示了如何在合并之前对数据集进行重复数据删除。这一次什么也没有，副本已经在那里了。如何删除重复项？
谢谢
浏览 1提问于2020-10-13得票数 0
我有一个有5列的表格。我为该表中的2列添加了唯一索引。但是，只要有重复项，查询就会因错误而停止。
因此，在MySQL中，我使用了
insert IGNORE
into TABLENAME1 (COLUMNS)
SELECT COLUMNS from TABLENAME2
并且我能够克服重复错误并插入其他行。
您能帮助我在SQL Server中实现同样的功能吗？换句话说，对于重复跳过行和插入其他行，忽略mysql的等价物是什么？
浏览 0提问于2017-01-26得票数 0
我有一个包含文章ID (主键)和文章标题的MySQL数据库表。我想从表中删除重复的标题，但保留标题的第一个匹配项。我最初只是简单地查询了所有重复的标题：
SELECT
title,
count( id ) AS count
FROM articles
GROUP BY title
HAVING count > 1
然后，我使用foreach循环和以下命令将所有重复的标题替换为空白：
UPDATE articles
SET title = ''
WHERE title = '$duplicate_title'
我想要更新articles表，并
浏览 0提问于2012-02-01得票数 5
回答已采纳
我有一个mysql表。如何删除基于三列的部分重复？是否可以将更改应用于当前表？如果不是，解决方案是什么？
示例：
当前表
McKain...............Christine.........XYZ...............................A................................A的Surname.........First Name.......Company Name........Responsibilities.......Column5
McKain..............Christine .........XYZ ....
浏览 1提问于2011-05-02得票数 1
回答已采纳
2回答
我已经看了一整天了。我试图从两个不同的表中返回两列的重复项列表。 在MYSQL中，获得完整的外部连接的唯一方法似乎是使用UNION，我已经尝试过了： select mobile from firstTable
group by mobile
having count(mobile) > 1
union all
select mobile from secondTable
group by mobile
having count(mobile) > 1; 然而，这在相同的表中得到了重复，并且不考虑跨表的重复。我也尝试过连接，但是我不知道如何在单独的列中检查重复项？ 我的目的是获得重
浏览 16提问于2019-04-26得票数 1
回答已采纳
我正在使用MySQL，试图将一堆条目插入到表中。有许多半复制品我需要处理掉。我想删除除一个之外的所有半重复项。当我运行下面的代码时，它似乎删除了我不想删除的所有内容，只保留了具有多个半重复项的条目。如何在保留其他所有内容的条目的同时，删除除其中一个以外的所有半重复项？
delete from t where (ColA, ColB, ColC) in
(select * from (select ColA, ColB, ColC from t
group by ColA, ColB, ColC having count(*) > 1) as t);
浏览 0提问于2017-05-20得票数 0
我想从Mysql表中删除所有重复行。
但问题是，我不知道哪些行是重复的。
这个Mysql表包含大约500000行的大型数据。
其中一些行是重复的。
请指导我怎么做这件事。
更新：
我需要在phpMyAdmin中运行的SQL查询。
这是一张值得理解的粗糙的表格。
假设表名为foo。
+---------------------------------------------------------------------+
| id | link | title | description |
+--------------
浏览 6提问于2013-04-16得票数 1
回答已采纳
我开始更深入地阅读MySql，并尝试在上解决这个任务。根据描述，需要从表中删除重复项，但我的查询不起作用。在sqllite中可以很好地工作。原因何在？
DELETE
FROM
Person
WHERE
Email IN(
SELECT
Email
FROM
Person
GROUP BY
Email
HAVING
COUNT(Email) > 1
);
错误
You can't specify target table 'Person' for upda
浏览 0提问于2018-06-07得票数 0
我在mysql中有一个很大的表，其中包含大约10lakhs的记录。我每天上传大约3000条记录，其中可能包含重复的记录。为了避免重复插入，我使用了"replace into...“语句插入到表中。但它在上传表格时不给出删除和插入记录的信息。我需要显示重复的记录以及替换的记录。我试着在同一个表上使用"innerjoin“和"groupby”来做上面的工作，但是上传的时间太长了。谁能告诉我如何在使用"Replace into..“时捕获插入和替换记录？MySQL中的语句。
浏览 7提问于2013-12-16得票数 0
这是我的一个场景，我在hive仓库中有一个数据，我想将这个数据导出到mysql中"test“数据库的一个名为"sample”的表中。如果一个列是sample.test中的主键，并且配置单元(我们正在导出的)中的数据在该键下具有重复的值，那么会发生什么情况呢?显然，作业将失败，那么我该如何处理这种情况呢？
提前感谢
浏览 1提问于2015-01-13得票数 0
我正在使用dropDuplicates方法删除数据文件中A和B列的重复条目。而我将结果数据保存为空A和B列上的主键的sql表。有时，新的dataframe在A和B列上有重复的值。
newdf = df.dropDuplicates(Seq("A", "B"))
newdf.write.mode("append").jdbc(url,table,prop)
因此，当插入到表中时，我将得到java.sql.BatchUpdateException:重复条目异常
不删除预期将删除A和B列中所有重复项的重复项，以及如何使用“try catch”下的批处
浏览 5提问于2016-11-18得票数 2
我使用API获取我所在城市的天气预报，并将这些数据写入mysql数据库。为此，我使用熊猫和数据。这个Dataframe有40个条目:接下来的5天每天8条。每3小时，有一个新的条目从网站产生。我的节目每时每刻都在重复。
#get data
data = urllib.request.urlopen("http://api.openweathermap.org/data/2.5/forecast?id=2867714&APPID=fddaaa343ef234b26418093023a6d2a8")
data = json.loads(data.rea
浏览 0提问于2019-12-06得票数 0
回答已采纳
1回答
我想从mysql表中删除重复的记录。它执行得很好，但是它显示“没有行受影响”？
DELETE n1
FROM dummyuser1 n1, dummyuser1 n2
WHERE n1.id > n2.id and n1.name = n2.name;
上面的查询正在执行，但它显示“没有行受影响”。
浏览 0提问于2015-10-09得票数 0
2回答
如何比较从MySQL db表返回的两列，每列包含数百万条记录？我基本上是在比较TableA和TableB的电话号码。根据TableB中的号码检查TableA中的号码，如果找到重复的号码，则删除重复的号码。我使用了array_intersect($array1, $array2)，因为返回的数字存储在数组中。这将返回重复的数字，但问题是它消耗了太多的内存，并且需要永远执行。
有没有办法在不消耗太多内存的情况下做到这一点？TableA和TableB中包含的数字都超过了1000万。
浏览 0提问于2013-05-10得票数 0
对不起，我没有用英语问清楚问题。
我需要一些像这样的mysql查询:查询出所有的项目名称，通过两个表UNION，但不重复。
下面是我的表结构：
表: cxt_20110105
item | ... many columns, but does not affect query, because I just need item.
art |
collectibles |
furniture |
books |
arts |
books |
... many lines...
表: cxt_20110106
i
浏览 3提问于2011-05-14得票数 1
回答已采纳
在比较mysql中的两个表之后，如何比较两个表，然后合并字段中的重复实体？
示例：
如果我有
TBL_SCHEDULE TBL_ORDER
ID CUS_ID DATE ID CUS_ID ORDER ID
------------------- -----------------------
1 1 2016-12-11 1 1 1
2 1 2016-12-11 2 3 10
3 3
浏览 0提问于2016-12-11得票数 0
回答已采纳
表名radacctid是pk帐户，唯一的是订阅者在连接时生成的几乎唯一的字符串。
这是mysql查询，它输出重复的条目，我希望以相同的命令y顺序删除结果，以自动完成这个过程。
select *
from radacct
group by acctuniqueid
HAVING
(radacct.acctuniqueid > 1)
浏览 1提问于2017-05-06得票数 0
回答已采纳
4回答
我有两张桌子，水果和颜色。
在“水果”表中，cid列引用颜色表中的c_id，但问题是颜色表有重复的颜色名称：
在MySQL中是否有一种有效的方法来删除重复的颜色行并相应地更新食物表中的cid，所以结果会是这样的吗？
浏览 1提问于2019-10-15得票数 1
回答已采纳
我的表没有处理重复数据的限制。如果没有使用'sqlldr‘实用工具将相同的数据插入到表中，我如何实现这一点？我必须在控制文件或参数中进行更改吗？或者别的什么？
浏览 0提问于2014-04-28得票数 0
我想从mysql表中删除所有重复的记录。我正在尝试，但我有以下错误：
不能在FROM子句中指定目标表“maTable”以进行更新。
关于这一点，我已经看到了另一个主题，但我想让你们看看我的问题做错了什么，以及我如何使它工作。
DELETE
FROM maTable
WHERE id_table IN (SELECT id_table
FROM maTable GROUP by id_table
HAVING COUNT(id_table)>1)
浏览 6提问于2015-11-24得票数 0
回答已采纳
我在台式机上使用的是MySQL 8.0CE和MySQL server 5.0。当我使用group by时，结果不能保留重复的记录，这是我需要参考的。我该如何处理这件事？
例如，我在table Scheduler中有几个日期：
sDate:
10/1/2018
10/1/2018
10/2/2018
10/2/2018
10/3/2018
10/3/2018
当我执行以下语句时：
SELECT S.sDate
FROM Scheduler S
GROUP BY S.sDate
HAVING COUNT(*)>1
我应该在表sDate中得到完
浏览 0提问于2018-10-08得票数 0
2回答
不知何故，我的数据库表基于一个名为kdaccount的字段复制了一组值。
我想要做的是删除除一个以外的所有重复的kdaccounts，并且我希望那个是最早提交的日期。
我编写了一个查询来标识重复的帐户，但现在我确定了如何构造mysql查询来删除它们。
$getVendors = mysql_query("SELECT vendor, nameid, kdaccount, MIN(dw_vendors.submitteddate) as `smallestDate`
FROM pr_po_m
浏览 0提问于2013-08-02得票数 0
回答已采纳
1回答
我有一个foreach循环，它通过存储在会话中的数组。它正在检查表中是否存在该值。如果没有，则将其插入到另一个表中。这个很好用。但是，由于它们在第一个表中是很多重复的--我在第二个表中得到了许多重复的副本。这是我的代码：
$today = date("Y-m-d");
$getAreaCodes = $_SESSION['area_code'];
// Start Foreach Loop. For every area code in session, get it's area code from the zip_zip table
浏览 2提问于2013-11-08得票数 0
回答已采纳
1回答
我的MySQL数据库中有一个表，需要从中删除重复项。
我的表看起来像这样：
unique_id value frequency value_type publication_date
1 6.5 1 2 2014-12-31
2 7.5 3 5 2014-06-04
3 6.5 1 2 2015-07-13
4 8.
浏览 6提问于2015-07-13得票数 0
我有MySQL桌'people'：
id[byte], name [varchar], surname [varchar], size [int]
对于大约1k行，它们大多是重复的--例如
Xbyte1X，迈克，安德斯，5岁
Xbyte2X，Mike，andERS，5
或
Xbyte1X，''，''，0；
Xbyte2X，''，''，0；
我想删除副本，但我必须处理：- trim -大/低字符-空/空记录。
我必须记住删除行的“it”，因为我必须在其他表(它是关系模型)中替换它，如何
浏览 2提问于2014-05-22得票数 0
回答已采纳
1回答
我正在尝试在一个500MB的数据库中隔离重复项，并尝试了两种方法。一种是创建新的表和分组：
CREATE TABLE test_table as
SELECT * FROM items WHERE 1 GROUP BY title;
但它已经运行了一个小时，在MySQL管理中，它显示状态为锁定。
我尝试的另一种方法是使用以下命令删除重复项：
DELETE bad_rows.*
from items as bad_rows
inner join (
select post_title, MIN(id) as min_id
浏览 2提问于2010-06-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
