为词干分析编写自己的词干分析器
为词干分析编写自己的词干分析器
提问于 2019-02-27 00:48:19
我有一个包含27个文件的数据集，每个文件都包含操作码。我想使用词干分析将相似操作码的所有版本映射到相同的操作码。例如: push，pusha，push，等等都会映射到push。
我的字典包含27个键，每个键都有一个操作码列表作为值。因为值包含操作码，而不是普通的英语单词，所以我不能使用常规词干分析器模块。我需要编写自己的词干分析器代码。此外，我不能硬编码一个自定义字典，将不同版本的操作码映射到根操作码，因为我有一个巨大的数据集。
我认为正则表达式是一个好主意，但我不知道如何使用它。有没有人可以帮我写自己的词干分析器代码？
回答 1
Stack Overflow用户
发布于 2019-02-27 02:20:43
我推荐使用levenshtein距离度量--它通过字符插入、删除和替换来度量两个单词之间的距离(因此，如果按照最常见的加权插入=删除=替换=1的方式，push和pusha之间的距离就是1)。根据您编写的示例，您可以尝试设置彼此距离均为1的类别。但是，我不知道是否所有的等效操作码都会如此相似--如果它们不是这样的话，leven可能无法工作。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/54890373
复制相关文章
相似问题
腾讯云开发者
