textdistance：文本相似度计算

原创

luckpunk

发布于 2025-01-20 09:29:10

40700

代码可运行

文章被收录于专栏：Python每日一库Python每日一库

运行总次数：0

代码可运行

在日常编程中，我们经常需要计算两个字符串之间的相似度 - 比如搜索引擎的模糊匹配、拼写检查、DNA序列比对等场景。虽然有Levenshtein和FuzzyWuzzy这些知名的字符串匹配库，但今天我要介绍一个更全面、更强大的神器 - textdistance。

这个库最让人惊艳的地方在于，它集成了超过30种文本距离/相似度算法，从简单的编辑距离到复杂的声学算法，应有尽有。某次在处理用户评论数据时，我就是用它成功发现了大量相似但不完全相同的评论，帮助识别了垃圾信息。

安装和配置

安装非常简单，只需一行命令：

pip install textdistance

为了获得最佳性能，建议同时安装以下可选依赖：

pip install "textdistance[extras]"

这会安装包括numpy、abydos等优化包，能显著提升计算速度。

基本用法

textdistance的使用方式极其优雅：

import textdistance

# 汉明距离
print(textdistance.hamming('python', 'pethon'))  # 输出: 1

# 莱文斯坦距离
print(textdistance.levenshtein('python', 'peithen'))  # 输出: 2

# Jaro-Winkler相似度
print(textdistance.jaro_winkler('python', 'python'))  # 输出: 1.0

每个算法都支持normalized参数，可以将结果标准化到0-1之间：

# 标准化的编辑距离
print(textdistance.levenshtein.normalized('python', 'javascript'))  # 输出: 0.2

进阶技巧

textdistance还支持序列相似度计算：

# 计算列表相似度
list1 = ['北京', '上海', '广州']
list2 = ['北京', '深圳', '广州']
print(textdistance.jaccard(list1, list2))  # 输出: 0.667

# 支持自定义权重
weights = [1, 0.5, 0.8]  # 为每个位置分配权重
print(textdistance.weighted_levenshtein('python', 'peithen', weights))

一个鲜为人知的特性是它的批量计算功能：

from textdistance import distance_matrix

words = ['python', 'javascript', 'java', 'perl']
matrix = distance_matrix(words, words, textdistance.levenshtein)
print(matrix)

实战案例：模糊搜索系统

下面是一个简单的模糊搜索实现：

def fuzzy_search(query, choices, threshold=0.6):
    results = []
    for choice in choices:
        score = textdistance.jaro_winkler(query.lower(), choice.lower())
        if score > threshold:
            results.append((choice, score))
    return sorted(results, key=lambda x: x[1], reverse=True)

# 示例使用
programming_languages = ['Python', 'JavaScript', 'Java', 'TypeScript', 'Ruby']
print(fuzzy_search('pythen', programming_languages))