一张客户或订单表里出现重复行，最容易想到的操作是“去重”。但完全相同的行、编号相同而其他字段不同的行，以及编号缺失的行，并不是一种情况。把它们一起删掉，很可能得到一张看似干净、实际上丢了信息的表。

下面用 Python 的标准库说明一种保守做法：按业务编号分组，保留第一次出现的完整记录，把所有重复和缺号记录另存为可核对的报告。

## 一、先定义唯一键

假设 CSV 中有 `order_id` 、 `amount` 、 `customer` 三列。这里选择 order_id 作为唯一键，不代表金额相同就是同一订单，也不代表同一个客户只会有一笔订单。唯一键必须来自业务含义。

编号中的前后空格是否忽略，也要明确。示例会去掉前后空格，但保留编号里的零和字母大小写。不要先把编号转成整数： `0012` 和 `12` 是否相同，不能交给类型转换替你决定。

## 二、把去重与报告同时输出

```python
import csv
from pathlib import Path

source = Path("orders.csv")
clean = Path("orders_unique.csv")
report = Path("orders_conflicts.csv")

with source.open("r", encoding="utf-8-sig", newline="") as f:
    reader = csv.DictReader(f)
    fields = reader.fieldnames
    if not fields or "order_id" not in fields:
        raise ValueError("缺少 order_id 列")
    if len(fields) != len(set(fields)):
        raise ValueError("表头存在重复列名")

    seen = {}
    accepted = []
    rejected = []
    for line, row in enumerate(reader, start=2):
        key = (row.get("order_id") or "").strip()
        if not key:
            rejected.append({**row, "line": line,
                             "reason": "编号为空"})
        elif key in seen:
            rejected.append({**row, "line": line,
                             "reason": f"编号重复，首次位于第 {seen[key]} 行"})
        else:
            seen[key] = line
            accepted.append(row)

for target, columns, rows in [
    (clean, fields, accepted),
    (report, fields + ["line", "reason"], rejected),
]:
    with target.open("w", encoding="utf-8-sig", newline="") as f:
        writer = csv.DictWriter(f, fieldnames=columns)
        writer.writeheader()
        writer.writerows(rows)
```

示例输出到两个新文件，不覆盖原始文件。报告里有原始字段、行号和原因，后续核对时不必只靠记忆寻找那条数据。

## 三、为什么不直接保留最后一行

最后一行可能是更新后的数据，也可能只是一次错误粘贴。如果 CSV 没有可靠的更新时间字段，按行顺序推断“最新”是不稳妥的。示例采用保留第一次的策略，只是为了让规则简单可复现；正式场景可以根据更新时间、来源可信度或人工确认改成另一套规则。

金额不同的重复编号值得单独关注。它往往需要核对，而不是自动合并。可以在报告中再添加“与首条记录有哪些字段不同”，让后续处理更快。

## 四、验收不只看文件能否打开

检查输入行数是否等于保留行数与报告行数之和；确认编号缺失的记录没有混进正常结果；挑一条重复编号，核对报告指向的首次行号是否正确。如果源文件还存在列数不齐、异常编码或超大文件，应该先增加相应校验，再把脚本用于整批数据。

这个示例把记录暂存在内存，适合能放入内存的小文件。处理更大的文件可以改为流式写入，但用于记住唯一键的集合仍会占用内存，需要根据数据规模重新设计。

去重不是让行数越少越好，而是让每一次删减都有可解释的依据。原文件、唯一键规则和冲突报告一起保留，才方便以后复查。

![要点图解](https://developer.qcloudimg.com/http-save/10037525/15e39af2af4e791e7464c5e5471061d2.jpg)

从原始输入出发，明确字段或记录的唯一性，再用完整代码处理冲突并保留核对线索。正文解释实现步骤、边界情况和验证方法，让每一次转换或删减都有可追溯的依据。

CSV 去重之前，先说清楚“同一条记录”

编程语言

对客户或订单表去重时，需区分完全重复、编号重复但字段不同及编号缺失三种情况。保守做法是按业务编号分组，保留首次出现记录，将重复及缺号数据另存为报告，便于核对，避免信息丢失。

Python

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

CSV 去重之前，先说清楚“同一条记录”-腾讯云开发者社区-腾讯云

CSV 去重之前，先说清楚“同一条记录”

CSV 去重之前，先说清楚“同一条记录”

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐