mysql 表合并去重

基础概念

MySQL 表合并去重是指将两个或多个表中的数据合并到一个表中，并去除重复的数据行。这在数据整合、数据清洗等场景中非常常见。

相关优势

1. 数据整合：可以将来自不同来源的数据合并到一个表中，便于统一管理和查询。
2. 数据清洗：去除重复数据，确保数据的唯一性和准确性。
3. 提高查询效率：合并后的表可以减少查询时的数据扫描量，提高查询效率。

类型

1. 内连接（INNER JOIN）：只合并两个表中匹配的行。
2. 左连接（LEFT JOIN）：合并左表的所有行和右表匹配的行，右表不匹配的行用NULL填充。
3. 右连接（RIGHT JOIN）：合并右表的所有行和左表匹配的行，左表不匹配的行用NULL填充。
4. 全外连接（FULL OUTER JOIN）：合并两个表的所有行，不匹配的行用NULL填充。

应用场景

1. 数据仓库建设：将多个数据源的数据合并到一个数据仓库中。
2. 用户数据分析：将用户的基本信息和行为数据合并，进行综合分析。
3. 日志分析：将不同时间段的日志数据合并，进行趋势分析。

示例代码

假设我们有两个表 table1 和 table2，它们都有一个共同的字段 id，我们希望将这两个表合并，并去除重复的行。

-- 创建示例表
CREATE TABLE table1 (
    id INT PRIMARY KEY,
    name VARCHAR(50),
    age INT
);

CREATE TABLE table2 (
    id INT PRIMARY KEY,
    name VARCHAR(50),
    age INT
);

-- 插入示例数据
INSERT INTO table1 (id, name, age) VALUES (1, 'Alice', 25);
INSERT INTO table1 (id, name, age) VALUES (2, 'Bob', 30);
INSERT INTO table2 (id, name, age) VALUES (2, 'Bob', 30);
INSERT INTO table2 (id, name, age) VALUES (3, 'Charlie', 35);

-- 合并表并去重
SELECT * FROM table1
UNION
SELECT * FROM table2;

参考链接

MySQL UNION 操作符

常见问题及解决方法

问题：合并后的表中仍然存在重复数据

原因：可能是由于 UNION 操作符默认会去除重复行，但如果使用 UNION ALL，则不会去除重复行。

解决方法：确保使用 UNION 而不是 UNION ALL。

SELECT * FROM table1
UNION
SELECT * FROM table2;

问题：合并后的表中某些字段值为 NULL

原因：可能是由于在合并过程中，某些字段在其中一个表中没有匹配的行，导致该字段值为 NULL。

解决方法：使用 LEFT JOIN 或 RIGHT JOIN 时，确保所有需要的字段都在结果集中。

SELECT t1.id, t1.name, t1.age, t2.age AS age_from_table2
FROM table1 t1
LEFT JOIN table2 t2 ON t1.id = t2.id;

通过以上方法，可以有效地解决 MySQL 表合并去重中的常见问题。