首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >字符串相似度别只会等号:三种判重方案怎么选|数据鱼API

字符串相似度别只会等号:三种判重方案怎么选|数据鱼API

原创
作者头像
用户12862874
发布于 2026-11-19 20:53:49
发布于 2026-11-19 20:53:49
100
举报

供应商名录里出现三条看不出来区别的记录:"杭州云栖食品有限公司"、"杭州云栖食品有限公司 "(尾随一个空格)、"云栖食品(杭州)有限公司"。用等号匹配,这三条是三个供应商;用正则清洗,规则从三条涨到十几条,还是漏掉括号顺序调换那种写法。判重这件事,难的不是算法,是决定哪一部分差异可以放过。

下面以数据鱼API的「字符串相似度计算」为参照。它的 compare 端点只做一件事:给两条字符串,返回一个分数和一次编辑距离。正因为接口很薄,前面怎么清洗、后面怎么定阈值,全在调用方手里,适合拿来把三种方案的边界讲清楚。

三种方案摆在一张表里

方案

实现成本

能解决什么

解决不了什么

精确相等

一行代码

完全一致的重复记录

空格、全半角、括号顺序、简称

正则与关键词规则

中等,随规则数量增长

已知的格式差异,可解释

没见过的写法;规则之间会互相打架

编辑距离比较

一次调用

拼写级差异,可量化打分

字面像但语义不同,比如"苹果"与"苹果梨"

三种不是替代关系。成熟的做法是串起来用:先用精确匹配把完全重复的清掉,再用规则处理已知格式,剩下的可疑对交给相似度打分,人工复核高分区间。上来就用相似度做全量比较,几十万条记录的笛卡尔积会把接口和预算一起吃光。

编辑距离到底在比什么

compare 接收 s1 和 s2 两个必填参数,GET 与 POST 都支持,返回四个字段:score、distance、max_length、strings。

distance 是把 s1 改成 s2 需要的最少操作次数,操作只有三种:插入一个字符、删除一个字符、替换一个字符。max_length 是两条字符串里较长的那一条的长度。score 是把距离换算成百分制后的结果,100 表示完全一致。

文档给的示例很小:s1=1、s2=1,返回 score=100、distance=0、max_length=1。这个例子说明的是刻度关系,不是算法细节——distance 是绝对次数,score 是相对刻度,同一对字符串两者必然同时给出。

阈值没有标准答案,但有经验区间:0.9 以上多半是同一条记录的不同写法,可以直接合并;0.7 到 0.9 之间需要人工过一遍,这一段既有真的重复,也有名称相近的两家不同公司;0.6 以下基本可以判定为不同对象。数据鱼API只负责给分数,判定永远在调用方这边。真正容易误判的是短字符串,"苹果"和"苹果梨"的编辑距离只有 1,分数很高,但它们是两个东西。字符串越短,越不能只看分数。

代码语言:javascript
复制
POST /api/similarity/compare
{"s1":"云栖食品杭州有限公司","s2":"云栖食品(杭州)有限公司"}
GET /api/similarity/compare?s1=AB-1024&s2=AB1024

第二行那种写法差异值得单独说:AB-1024 和 AB1024 只差一个短横线,distance 为 1。如果业务规则里短横线本来就无意义,在比较前统一去掉,比事后调阈值可靠得多。

调用之前先做三件清洗

第一件,去首尾空格并把连续空格合并成一个。名录数据从 Excel 导出来,尾随空格是最常见的脏数据,它能让 distance 凭空多 1 分。

第二件,全角转半角,英文与品牌名统一大小写。括号、逗号、连字符的全半角混用,是中文数据里第二常见的差异来源。

第三件,长文本先按分号、换行、句号切段,逐段比较。整段几百字去算编辑距离,一两个词的差异会被长度稀释,分数永远很高,等于没判。

还有一个工程约束要提前知道:这个接口只做一对一的比较,没有批量端点。几万条记录不要把全量组合都发出去,先按首字、拼音首字母或行政区划分组,只在候选集内部比较,调用量能从百万级降到几千级。数据鱼API这边单次调用只处理一对字符串,省下的调用量就是省下的时间和费用。

怎么选,看你的重复长什么样

  • 重复只来自录入时的空格和全半角,规则清洗足够,不必引入接口。
  • 重复来自简称、括号顺序、少一个字,编辑距离能兜住,但要接受人工复核的成本。
  • 重复可能是语义层面的("云栖食品"与"云栖食品科技"是同一家还是两家),任何字符串算法都答不了,只能靠工商注册号一类的唯一键。

把判重拆成"规则过滤 + 分数排序 + 人工确认"三段,比找一个万能算法现实得多。

以上 score、distance、max_length 字段口径与调用方式,整理自数据鱼API「字符串相似度计算」接口的公开文档;相似度结果仅作参考,涉及合同、供应商主数据等重要信息时请人工复核。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 三种方案摆在一张表里
  • 编辑距离到底在比什么
  • 调用之前先做三件清洗
  • 怎么选,看你的重复长什么样
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档