供应商名录里出现三条看不出来区别的记录:"杭州云栖食品有限公司"、"杭州云栖食品有限公司 "(尾随一个空格)、"云栖食品(杭州)有限公司"。用等号匹配,这三条是三个供应商;用正则清洗,规则从三条涨到十几条,还是漏掉括号顺序调换那种写法。判重这件事,难的不是算法,是决定哪一部分差异可以放过。
下面以数据鱼API的「字符串相似度计算」为参照。它的
compare端点只做一件事:给两条字符串,返回一个分数和一次编辑距离。正因为接口很薄,前面怎么清洗、后面怎么定阈值,全在调用方手里,适合拿来把三种方案的边界讲清楚。
方案 | 实现成本 | 能解决什么 | 解决不了什么 |
|---|---|---|---|
精确相等 | 一行代码 | 完全一致的重复记录 | 空格、全半角、括号顺序、简称 |
正则与关键词规则 | 中等,随规则数量增长 | 已知的格式差异,可解释 | 没见过的写法;规则之间会互相打架 |
编辑距离比较 | 一次调用 | 拼写级差异,可量化打分 | 字面像但语义不同,比如"苹果"与"苹果梨" |
三种不是替代关系。成熟的做法是串起来用:先用精确匹配把完全重复的清掉,再用规则处理已知格式,剩下的可疑对交给相似度打分,人工复核高分区间。上来就用相似度做全量比较,几十万条记录的笛卡尔积会把接口和预算一起吃光。
compare 接收 s1 和 s2 两个必填参数,GET 与 POST 都支持,返回四个字段:score、distance、max_length、strings。
distance 是把 s1 改成 s2 需要的最少操作次数,操作只有三种:插入一个字符、删除一个字符、替换一个字符。max_length 是两条字符串里较长的那一条的长度。score 是把距离换算成百分制后的结果,100 表示完全一致。
文档给的示例很小:s1=1、s2=1,返回 score=100、distance=0、max_length=1。这个例子说明的是刻度关系,不是算法细节——distance 是绝对次数,score 是相对刻度,同一对字符串两者必然同时给出。
阈值没有标准答案,但有经验区间:0.9 以上多半是同一条记录的不同写法,可以直接合并;0.7 到 0.9 之间需要人工过一遍,这一段既有真的重复,也有名称相近的两家不同公司;0.6 以下基本可以判定为不同对象。数据鱼API只负责给分数,判定永远在调用方这边。真正容易误判的是短字符串,"苹果"和"苹果梨"的编辑距离只有 1,分数很高,但它们是两个东西。字符串越短,越不能只看分数。
POST /api/similarity/compare
{"s1":"云栖食品杭州有限公司","s2":"云栖食品(杭州)有限公司"}
GET /api/similarity/compare?s1=AB-1024&s2=AB1024第二行那种写法差异值得单独说:AB-1024 和 AB1024 只差一个短横线,distance 为 1。如果业务规则里短横线本来就无意义,在比较前统一去掉,比事后调阈值可靠得多。
第一件,去首尾空格并把连续空格合并成一个。名录数据从 Excel 导出来,尾随空格是最常见的脏数据,它能让 distance 凭空多 1 分。
第二件,全角转半角,英文与品牌名统一大小写。括号、逗号、连字符的全半角混用,是中文数据里第二常见的差异来源。
第三件,长文本先按分号、换行、句号切段,逐段比较。整段几百字去算编辑距离,一两个词的差异会被长度稀释,分数永远很高,等于没判。
还有一个工程约束要提前知道:这个接口只做一对一的比较,没有批量端点。几万条记录不要把全量组合都发出去,先按首字、拼音首字母或行政区划分组,只在候选集内部比较,调用量能从百万级降到几千级。数据鱼API这边单次调用只处理一对字符串,省下的调用量就是省下的时间和费用。
把判重拆成"规则过滤 + 分数排序 + 人工确认"三段,比找一个万能算法现实得多。
以上 score、distance、max_length 字段口径与调用方式,整理自数据鱼API「字符串相似度计算」接口的公开文档;相似度结果仅作参考,涉及合同、供应商主数据等重要信息时请人工复核。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。