mysql 多表去重

在MySQL数据库中实现多表去重，通常涉及以下几个步骤：

确定去重的依据：明确哪些字段组合用于判断记录是否重复。
选择合适的去重方法：可以使用 UNION、JOIN 或临时表等方法。
执行去重操作：根据选择的方法进行具体的SQL操作。

下面将详细介绍几种常见的多表去重方法，并提供相应的示例。

方法一：使用 `UNION` 操作

UNION 操作默认会去除重复的记录。如果需要保留所有字段，可以使用 UNION ALL，然后手动过滤重复项。

示例场景：假设有两个表 table1 和 table2，结构相同，都有 id 和 name 字段，想要合并这两个表并去除重复的 (id, name) 组合。

SELECT id, name FROM table1
UNION
SELECT id, name FROM table2;

说明：

UNION 会自动去除重复的 (id, name) 组合。
如果希望保留所有记录，包括重复的，可以使用 UNION ALL。

方法二：使用 `JOIN` 和子查询

当需要基于多个字段进行去重时，可以结合 JOIN 和子查询来实现。

示例场景：假设有 employees 和 contractors 两个表，都有 email 字段，想要合并这两个表的 email 并去重。

SELECT email FROM employees
UNION
SELECT email FROM contractors;

或者使用 JOIN：

SELECT DISTINCT e.email
FROM employees e
LEFT JOIN contractors c ON e.email = c.email
WHERE c.email IS NULL

UNION

SELECT DISTINCT c.email
FROM contractors c
LEFT JOIN employees e ON c.email = e.email
WHERE e.email IS NULL;

说明：

第一个 SELECT 获取 employees 中独有的 email。
第二个 SELECT 获取 contractors 中独有的 email。
使用 UNION 合并结果，并自动去重。

方法三：使用临时表

对于复杂的多表去重需求，可以使用临时表来存储中间结果。

示例步骤：

创建一个临时表，结构与需要去重的字段一致。
将多个表的数据插入到临时表中。
在临时表中进行去重操作。
删除临时表。

-- 创建临时表
CREATE TEMPORARY TABLE temp_unique AS
SELECT id, name FROM table1
UNION
SELECT id, name FROM table2;

-- 查看去重后的数据
SELECT * FROM temp_unique;

-- 如果需要，可以将去重后的数据插入到目标表
INSERT INTO target_table (id, name)
SELECT id, name FROM temp_unique;

-- 删除临时表
DROP TEMPORARY TABLE IF EXISTS temp_unique;

说明：

临时表在会话结束后会自动删除，使用 TEMPORARY 关键字创建。
适用于需要多次操作去重结果的场景。

方法四：使用窗口函数（MySQL 8.0+）

MySQL 8.0 引入了窗口函数，可以更灵活地进行去重操作。

示例场景：假设有 orders 表和 returns 表，都有 order_id 字段，想要获取所有唯一的 order_id。

SELECT DISTINCT order_id
FROM (
    SELECT order_id, ROW_NUMBER() OVER (PARTITION BY order_id ORDER BY order_id) AS rn
    FROM orders
    UNION ALL
    SELECT order_id, ROW_NUMBER() OVER (PARTITION BY order_id ORDER BY order_id) AS rn
    FROM returns
) AS combined
WHERE rn = 1;

说明：