
任何跑过一段时间业务的文档库都会遇到两类重复:一类是原样复制——同一段文字被原封不动存了两遍;另一类是改头换面——正文只改了几个标点、几个错别字,或者换了个公文头尾模板,内容其实还是同一份。前者用字典去重一秒解决,后者靠精确匹配一条都抓不到。
更麻烦的是第三种情况:「同模板不同事」。大量公文、日报、通知共用同一套模板和客套话,模板文字占掉文档一半以上篇幅。从字符相似度看,它们长得几乎一样;从业务看,它们讲的是完全不同的两件事。把它判成重复是误报,不判又漏掉真正的变体——这是文档去重里最磨人的一块。
为了把这个问题量化,我构造了一个 3,000 份中文办公文档的语料(全合成,seed 20261120):1,660 个真实文档资源,其中 5 组「热模板」每组被 30 个资源共用,24 套普通模板随机挂载, 变体生成时叠加标点改写、错别字、模板替换、句子复制四种变换。真值重复对共 2,754 个。下面所有数字都来自真实运行,没有一个编造。
第一个坑:单字集合的 Jaccard 在中文上天然失效。 不少教程用「把文本拆成字符集合算 Jaccard」做相似度。英语里字母集合有一定判别力,中文不行——高频汉字(的、了、在、请、将、进)几乎每篇文档都有。实测结果:3,000 篇文档共 4,498,500 个文档对,按真值标定的阈值 0.37 一卡,3,728,098 对过线,占 82.9%。也就是说单字 Jaccard 根本分辨不出两篇无关文档和两篇近重复文档的差别,精度只剩 0.07%。
第二个坑:模板占比主导了字符级相似度。 改用字符 3-gram(三个连续字符切片)后,判别力大幅恢复,但「同模板不同事」的对子仍然会被抓进来:热模板的正文 + 高频客套句在字符切片层面完全一致,两篇业务不同的文档全文 Jaccard 照样能到 0.37 以上。实测 LSH 检出的 940 个「假阳性」对,人工抽查全是这种模板驱动的相似——不是算法错了,是「全文相似」这个口径本身混进了不该算的部分。
解法是把两个口径分开:全文口径管召回,正文口径管精度。用文档频率(DF)统计每个 3-gram 出现在多少篇文档里,出现次数 ≥ 120 的视为模板切片,从每篇文档里剥掉;剥完之后剩下的才是「正文」。判定一个对是重复,要求全文 J ≥ 0.37 且 剥离后的正文 J ≥ 0.207。这两个阈值不是拍的——0.37 是真值对全文 J 的最小值,0.207 是真值对剥离后正文 J 的最小值(向下取整)。

档位 | 方法 | P | R | F1 | 误合并 | 漏检 | 耗时 |
|---|---|---|---|---|---|---|---|
A 朴素 | 字符串完全相同去重 | 100.00% | 7.41% | 13.79% | 0 | 2,550 | 0.002s |
B 半治理 | 单字 Jaccard 全量两两比对 | 0.07% | 100.00% | 0.15% | 3,728,098 | 0 | 32.0s |
C0 单口径 | 3-gram + MinHash 192 + LSH 64×3 | 74.55% | 100.00% | 85.42% | 940 | 0 | 21.7s |
C 双口径 | C0 + DF≥120 剥离 + 正文 J 校验 | 100.00% | 100.00% | 100.00% | 0 | 0 | 21.55s |
C 档的耗时构成:numpy 签名 1.82s + LSH 分桶 1.15s + 校验 18.58s(只算 1,679,195 个候选对,对比全集 4,498,500 对剪枝 62.7%)。值得注意的是 C 档并不比 B 档快多少——在这个规模上,LSH 的价值是精度工程的基础设施:没有它,校验就得对 450 万对全算;有了它,误合并为零的同时计算量还降了六成,文档量再涨一个量级时差距会拉开到完全不可比(O(n²) 对 O(n))。
import zlib, numpy as np
from collections import Counter
from itertools import combinations
P = (1 << 31) - 1 # Mersenne 素数,int64 乘法不溢出
def shingles(text, k=3):
return {text[i:i + k] for i in range(len(text) - k + 1)}
def jaccard(a, b):
if not a and not b:
return 1.0
inter = len(a & b)
return inter / (len(a) + len(b) - inter)
def df_strip(sh_sets, min_df=120):
"""剥离出现在 >= min_df 篇文档里的模板切片"""
df = Counter()
for ss in sh_sets:
for s in ss:
df[s] += 1
boiler = {s for s, c in df.items() if c >= min_df}
return [ss - boiler for ss in sh_sets]
def minhash_signatures(sh_sets, n_perm=192, rng=np.random.default_rng(1)):
"""numpy 向量化 MinHash:逐置换对全文档取最小哈希"""
hs = [np.array([zlib.crc32(s.encode()) % P for s in ss], dtype=np.int64)
for ss in sh_sets]
starts = np.cumsum([0] + [len(h) for h in hs])[:-1]
concat = np.concatenate(hs)
A = rng.integers(1, P, size=n_perm, dtype=np.int64)
B = rng.integers(0, P, size=n_perm, dtype=np.int64)
sig = np.zeros((len(hs), n_perm), dtype=np.int64)
for i in range(n_perm):
sig[:, i] = np.minimum.reduceat((A[i] * concat + B[i]) % P, starts)
return sig
def lsh_candidates(sig, n_band=64, n_row=3):
cand = set()
for b in range(n_band):
buck = {}
lo = b * n_row
for d in range(sig.shape[0]):
buck.setdefault(sig[d, lo:lo + n_row].tobytes(), []).append(d)
for g in buck.values():
if len(g) > 1:
cand.update(combinations(sorted(g), 2))
return cand
def find_near_dups(texts, thresh=0.37, floor=0.207):
sh = [shingles(t) for t in texts]
st = df_strip(sh)
cand = lsh_candidates(minhash_signatures(sh))
return [(i, j) for i, j in cand
if jaccard(sh[i], sh[j]) >= thresh # 全文口径,保召回
and jaccard(st[i], st[j]) >= floor] # 正文口径,保精度要点说明:签名永远用未剥离的全文切片(剥离后真值对的正文 J 最低只有 0.207,LSH 在这个相似度水平上会漏掉一大半,召回崩盘);剥离集只参与最终校验。192 个置换在 3,000 篇文档上 numpy 只要 1.8 秒,纯 Python 循环要 2.2 秒/300 篇——向量化提速 20.4 倍,且签名逐位一致(300/300 对齐验证过)。

把这个场景固化下来,以后对任何一批文档说这段话就够了:
请对【文件夹路径】下全部 txt/docx 文本做近重复检测:① 每篇抽字符 3-gram 集合,统计 DF,剥离 DF 前 2% 的模板切片;② 用 192 置换 MinHash + 64 段×3 行 LSH 生成候选对;③ 校验要求全文 Jaccard ≥ 0.37 且剥离后正文 Jaccard ≥ 0.207(两个阈值先用真值样本或分布谷点标定,向下取整);④ 输出重复簇清单(簇 ID、成员文件、全文 J、正文 J、判断依据),FP 只计数加抽样,不要把全量对写进结果文件;⑤ 全程计时并给出 P/R/F1(如有人工确认样本)。
这轮实验最有价值的结论不是「F1 100%」,而是把三个容易混淆的口径拆干净了:全文相似(管召回)、正文相似(管精度)、候选生成(管计算量)。三者用不同的阈值、不同的数据视图各司其职,缺一个都会翻车:少全文口径召回崩,少正文口径精度崩,少 LSH 计算量崩。工具链就是 WorkBuddy 里的托管 Python 环境 + numpy,语料生成到最终校验全部本地可复现,脚本与数据都在工作区 outputs 目录。
(实验环境:Windows / Python 3.11 托管 venv / numpy;语料 seed 20261120,3,000 篇、2,754 个真值重复对;结果文件 outputs/mh_result.json)
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。