【词库】Python关键词筛选分类，Levenshtein编辑距离算法分词

pip install python-Levenshtein

#关于 Levenshtein 所有函数的用法和注释
apply_edit()  #根据第一个参数editops（）给出的操作权重，对第一个字符串基于第二个字符串进行相对于权重的操作
distance() #计算2个字符串之间需要操作的绝对距离
editops() #找到将一个字符串转换成另外一个字符串的所有编辑操作序列
hamming() #计算2个字符串不同字符的个数，这2个字符串长度必须相同
inverse() #用于反转所有的编辑操作序列
jaro() #计算2个字符串的相识度，这个给与相同的字符更高的权重指数
 
jaro_winkler() #计算2个字符串的相识度，相对于jaro 他给相识的字符串添加了更高的权重指数，所以得出的结果会相对jaro更大（%百分比比更大）
matching_blocks() #找到他们不同的块和相同的块，从第六个开始相同，那么返回截止5-5不相同的1，第8个后面也开始相同所以返回8-8-1，相同后面进行对比不同，最后2个对比相同返回0
median() #找到一个列表中所有字符串中相同的元素，并且将这些元素整合，找到最接近这些元素的值，可以不是字符串中的值。
median_improve() #通过扰动来改进近似的广义中值字符串。
 
opcodes() #给出所有第一个字符串转换成第二个字符串需要权重的操作和操作详情会给出一个列表，列表的值为元祖，每个元祖中有5个值
    #[('delete', 0, 1, 0, 0), ('equal', 1, 3, 0, 2), ('insert', 3, 3, 2, 3), ('replace', 3, 4, 3, 4)]
    #第一个值是需要修改的权重，例如第一个元祖是要删除的操作,2和3是第一个字符串需要改变的切片起始位和结束位，例如第一个元祖是删除第一字符串的0-1这个下标的元素
    #4和5是第二个字符串需要改变的切片起始位和结束位，例如第一个元祖是删除第一字符串的0-0这个下标的元素，所以第二个不需要删除
 
quickmedian() #最快的速度找到最相近元素出现最多从新匹配出的一个新的字符串
ratio() #计算2个字符串的相似度，它是基于最小编辑距离
seqratio() #计算两个字符串序列的相似率。
setmedian() #找到一个字符串集的中位数(作为序列传递)。 取最接近的一个字符串进行传递，这个字符串必须是最接近所有字符串，并且返回的字符串始终是序列中的字符串之一。
setratio() #计算两个字符串集的相似率(作为序列传递)。
subtract_edit() #从序列中减去一个编辑子序列。看例子这个比较主要的还是可以将第一个源字符串进行改变，并且是基于第二个字符串的改变，最终目的是改变成和第二个字符串更相似甚至一样

#来源：CSDN博主「it男余康的逻辑思维」

pip install python-Levenshtein

>>> import json
>>> print json.dumps('中国')
"\u4e2d\u56fd"

>>> import json
>>> print json.dumps('中国')
"\u4e2d\u56fd"
>>> print json.dumps('中国',ensure_ascii=False)
"中国"
>>>

#分词方法,使用Levenshtein模块分类
# -*- coding: utf-8 -*-
import json
import time
import Levenshtein #导入 Levenshtein 模块

result={}

def classify(keyword_list):
    """
    使用while循环的方法计算和分类
    :param keyword_list:  要分类的关键词队列
    :return:  None
    """
    muci=keyword_list.pop(0) #取第一个词
    result[muci]={"total":0,"list":[]}
    last=keyword_list[-1]  #最后一个词
    total_classify=0
    remain=len(keyword_list)
    while keyword_list:
        kw=keyword_list.pop(0)  #提取列表中的笑一个词
        simi=Levenshtein.jaro_winkler(kw,muci)
        if simi >= 0.8:
            result[muci]["list"].append(kw)
            result[muci]["total"] += 1
            remain -= 1
        else:
            keyword_list.append(kw)
        if kw == last and keyword_list: #如果已经是最后一个了
            total_classify += 1
            print("Has been classified %d , remain %d" % (total_classify, remain))
            muci=keyword_list.pop(0)
            remain -= 1
            result[muci]={"total":0,"list":[]}
            if keyword_list:
                last=keyword_list[-1]
            else:
                break

def result_filter(result_dict,bigthan=10):
    """
    结果滤筛选函数
    由于使用该方法会得到很多分类，有些分类是没有关键词的或者只有少数相关词
    那么对于这些分类就可能不需要了，那么我们就直接把它们过滤掉就好了
    :param result_dict: 要筛选的分类结果
    :param bigthan: 相关词数量大于或者等于该数的分类将保存
    :return:  过滤后的结果
    """
    retfilter={}
    for item,values in result_dict.items():
        if values["total"] >bigthan:
            retfilter[item]=values
    return retfilter

if __name__=='__main__':
    t_start=time.time()
    print("start......")
    keywords=[key.strip() for key in open('keywords.txt',encoding='utf-8')]
    classify(keywords)
    filtered=result_filter(result)
    f=open("result4.json","w",encoding="utf-8")  #结果保存在json中
    f.write(json.dumps(filtered,ensure_ascii=False))  #json.dumps()用于将字典形式的数据转化为字符串，json.loads()用于将字符串形式的数据转化为字典
    #json.dumps 序列化时对中文默认使用的ascii编码.想输出真正的中文需要指定 ensure_ascii=False
    f.close()
    print("done,consume %.3f" % (time.time() - t_start))