两个文件上的Levenshtein距离花费太多时间
Levenshtein距离是一种用于衡量两个字符串之间的差异程度的算法。它通过计算将一个字符串转换为另一个字符串所需的最少编辑操作次数来衡量差异。编辑操作包括插入、删除和替换字符。
Levenshtein距离的计算可以通过动态规划算法来实现。算法的基本思想是构建一个二维矩阵，其中矩阵的行表示第一个字符串的字符，列表示第二个字符串的字符。然后，通过填充矩阵中的每个单元格，计算出从第一个字符串的某个位置到第二个字符串的某个位置的最小编辑操作次数。
Levenshtein距离在许多应用中都有广泛的应用，例如拼写检查、文本相似度计算、DNA序列比对等。它可以帮助我们理解和比较不同字符串之间的相似性。
在腾讯云的产品中，可以使用腾讯云的人工智能服务中的自然语言处理（NLP）相关功能来处理Levenshtein距离。腾讯云的NLP服务提供了文本相似度计算的API，可以方便地计算两个字符串之间的相似度，包括Levenshtein距离。
腾讯云自然语言处理（NLP）产品介绍：https://cloud.tencent.com/product/nlp
腾讯云自然语言处理（NLP）文本相似度计算API文档：https://cloud.tencent.com/document/product/271/35496
通过使用腾讯云的NLP服务，您可以快速准确地计算Levenshtein距离，从而节省时间和精力。
相关·内容
3回答
我正在寻找一个相对简单的NLP algo，这将帮助我评估两个句子之间的相似性。这些句子通常在1-5个单词之间，大约.
。
上下文：
用户可以创建尽可能多的类别，他希望分组他的照片。我注意到这些类别中有很多是空的，当潜得更深一点时，我看到用户创建的许多类别几乎都有相同的名称，例如，法国对法国法郎夏季对夏季海滩和海滩(心脏表情)
一种假设是，他们创建一个带有拼写错误的类别，而不是删除，而是创建一个新的类别。
目标：
量化用户级别上高度相似的类别对的数量。
所以我的问题基本上有两个方面：
哪个简单的NLP算法可以很好地完成这项工作，而不需要像谷歌这样的公司使用某种凸性的神经网络。听说向量空间的余弦相
浏览 0提问于2022-04-01得票数 1
2回答
我有两个csv文件，其中包含设备的序列号。其中一个有直接从设备扫描到的正确序列号。另一份报告来自我们的库存系统。我想要交叉引用这两个列表，看看两个列表中都有哪些项目，同时我想检查序列号是否可能匹配。
我将在java中编写此程序。
示例1：
列表A序列号："AGJC-021645“
表B序列号："AGJC-021645“
那将是完全匹配的。但这是相当简单的。
示例2：
列表A序列号："AGJC-01254“
列表B中可能的匹配项："AGJC-01253“、"AGJC-00254”等。
然后，我可以让我的库存人员对它们进行验证。可能是他们把它输入系统时的打字
浏览 1提问于2014-02-18得票数 1
Levenshtein距离是用于度量两个序列之间差异的字符串度量。Wagner-Fischer算法是一种动态编程算法，用于计算两个字符串之间的编辑距离。
都使用矩阵，我看不出有什么不同？差异是回溯，还是因为一个是“文献”，另一个是编程，所以没有进一步的差异？
另外，我只是在写一篇论文，我不确定如何划分它-我是应该首先解释Levenshtein距离，然后再解释Wagner-Fisher算法，还是两者兼而有之？我有点糊涂了。
浏览 69提问于2016-03-10得票数 7
1回答
我应该使用什么来搜索mysql中的关键字？
我有一个单词，在查询中我有
wordless
something word something
someword some
else
other
wordother
thingword
我想输出其中包含单词的所有内容，但输出的内容类似于第一个输出的行，例如，输出的行的第一个字母是单词
wordless -将是第一个，因为word是word和word的第一个字符，其他要输出到第一个输出的行，然后在它们之后输出一些单词，依此类推，每个包含名字单词的单词，但再次首先输出那些在第一个字符中有单词的行。
编辑：
SELECT *,MATCH(add_songN
浏览 2提问于2011-05-24得票数 0
1回答
使用NLP的去重叠
、、、、
我有产品目录。
用户可以将新产品添加到目录中。用户可以输入一些属性(如颜色、权重等)。在文本框里。用户也可以单独提到产品的描述。
每个产品都有一组用户显式提到的属性和描述。我想根据用户提供的属性和描述来检查目录中是否有任何重复的产品。
我希望使用用户提供的属性和描述来执行产品目录中记录的重复。
哪种NLP技术可以用来执行去重复？
浏览 0提问于2023-05-12得票数 0
我有一个问题，我需要将某些示例名称连在一起，但问题是，我想匹配的示例名称与我需要得到正确值的字典中的键有点不同。
示例：
sample = "foo_foo.bar.12"
matching_dict = {"foo_foo-bar-12" : "foo.bar.12"}
我有大约5500个样本，每个样本都有不同的排列方式，所以不是每个样本看起来都像我给出的例子。理想情况下，我想要一种动态的方法来比较这两个字符串，如果它们非常相似的话，然后从dict中得到它们的值。
提前感谢！
浏览 5提问于2020-11-27得票数 0
回答已采纳
2回答
我目前正在开发一个程序，它可以将一个小文本(比如250个字符)与一个类似文本的集合(大约1000-2000个文本)进行比较。
其目的是评估文本A是否与集合中的一个或多个文本相似，如果类似，则必须通过ID检索集合中的文本。每个文本都有一个唯一的ID。
我希望输出有两种方式：
选项1:文本A匹配文本B具有90%的相似性，文本C匹配70%的相似性，等等。
选项2:文本--具有最高相似度的匹配文本D
我在学校读过一些机器学习，但我不确定哪种算法最适合这个问题，或者我是否应该考虑使用NLP (不熟悉这门学科)。
有没有人建议使用哪种算法，或者在哪里可以找到解决我问题的无科学文献？
浏览 4提问于2013-08-26得票数 16
我有两串文本(通常有两段)。我希望检查他们之间的“相似性”，例如，检查一个段落是否是剽窃的另一个版本。理想情况下，我需要一个相似的分数，以及一个相似之处的指示。我宁愿在R中充分地做这件事，有什么建议吗？
浏览 2提问于2020-11-12得票数 0
回答已采纳
我正在尝试创建一个javaScript程序来查找两个数据库表之间的相似列。
例如：
Table1有Emp_Name, Emp_Id, Emp_Dept，而Table2有Name,Id,Department
在JavaScript中有没有现成的库可以帮助你做到这一点？
我已经浏览了以下链接：
但现在我更困惑了，因为这些库中的一些看起来并不完全匹配。
浏览 27提问于2019-11-23得票数 0
5回答
我需要比较字符串，以确定它们是否代表相同的东西。这与人工输入的案例标题有关，其中缩写和其他小细节可能不同。例如，考虑以下两个标题：
std::string first = "Henry C. Harper v. The Law Offices of Huey & Luey, LLP";
与此相对的是：
std::string second = "Harper v. The Law Offices of Huey & Luey, LLP";
人类可以很快判断出它们最有可能是同一个。我目前采用的方法是通过对所有字母进行小写并删除所有标点符号和空格来规
浏览 4提问于2013-03-09得票数 73
回答已采纳
4回答
我想得到两个单词的相似度百分比，例如)
abcd versus zzabcdzz == 50% similarity
不需要非常准确。有没有办法做到这一点？我正在使用python，但请随意重新注释其他语言。
浏览 1提问于2011-02-12得票数 3
回答已采纳
2回答
比较相似算法
、、、
我想使用字符串相似函数来查找我的数据库中损坏的数据。
我偶然发现了其中的几个：
贾罗
贾洛-温克勒，
莱文希丁
欧几里得和
Q-克，
我想知道他们之间的区别是什么，在什么情况下他们工作得最好？
浏览 2提问于2012-03-23得票数 43
回答已采纳
5回答
我想知道他们之间的区别是什么，在什么情况下他们工作得最好？
根据我的理解：
余弦相似是度量内积空间中两个非零向量之间相似性的度量，它度量了它们之间夹角的余弦。0°的余弦为1，对于(0，π)半径的任意角度都小于1。
列文希廷距离是一个用于测量两个序列之间差异的字符串度量。非正式地说，两个单词之间的Levenshtein距离是单字编辑的最小数量。
我的问题是
什么时候才能在Levenshtein距离上使用余弦相似性？
1：https://en.wikipedia.org/wiki/Cosine_similarity#:~:targetText=Cosine%20similarity%20is%20
浏览 0提问于2019-11-18得票数 5
回答已采纳
我正在开发一个简单的NLP项目，在这个项目中，我们给出了一组单词，并从文本中找到相似的/语音相似的单词。我发现了很多算法，但没有一个示例应用程序。
此外，还应该通过比较关键字和找到的单词来给出相似度评分。
有人能帮我吗？
def word2vec(word):
from collections import Counter
from math import sqrt
cw = Counter(word)
sw = set(cw)
lw = sqrt(sum(c*c for c in cw.values()))
return cw, sw
浏览 3提问于2020-02-27得票数 1
回答已采纳
我想要一些技术来解决我的问题。我使用的是PostgreSQL10。我想创建一个查询，即使有两个字母的差异也可以选择子字符串。我的葡萄牙语有许多发音相同的字母，人们在打字时真的会犯错误。我想要做的大致是这样的。 如果我有一个名称为"automóvel grande“的产品名称 atomóvel grande" would match //one letter is missing
automovel grnde" would match //lack accent and letter is missing
automovell grnde would m
浏览 21提问于2019-04-26得票数 2
2回答
我需要自动匹配产品名称(食物)。这个问题类似于
主要的问题是，即使是相关关键字中的单个字母变化也会产生巨大的差异，但是很难检测到哪些是相关的关键字。例如，考虑三个产品名称Lenovo T400、Lenovo R400和New Lenovo T-400, Core 2 Duo。
按任何标准，前两个字符串都是非常相似的字符串(在这种情况下，soundex可能有助于区分T和R，但名称最好是400T和400R)，第一个和第三个字符串彼此相距很远，但是相同的产品。
显然，匹配算法不可能100%的精确，我的目标是自动匹配大约80%的名字具有很高的置信度。
但是有一个复杂的问题:我的字符串有错误，因为我想搜
浏览 4提问于2016-08-18得票数 0
是否可以返回两个字符串之间不同的字符数？
在我的例子中，我想运行一个检查来量化用户的草稿相对于数据库版本有多大的变化。有了这些信息，系统可以决定是否需要自动保存草稿。
例如：
echo string_diff("Hello world", "Hi World");
这应该输出"5"，表示字符"ello“和"W”是不同的。
这在PHP中是可能的吗？使用mySQL怎么样？
浏览 1提问于2013-05-28得票数 0
回答已采纳
我没有证据，但我有直觉，假设s1是需要转换为s2的字符串，那么我们可以在s1中保留最大的公共子序列，编辑距离是我们需要替换/删除/插入的元素的数量。
For example : s1 = "adjsjvnejnv"
s2 = "djpppne"
这里LCS是"djne“，现在我们需要删除"djne”右侧的3个元素字符串"jnv“，我们可以在s1中将"sjv”替换为"ppp“，并且可以从s1中删除"a”。因此，总的编辑距离是3+3+1 =7。
其思想是替换或删除LCS元素之间的元素，并从L
浏览 7提问于2020-05-06得票数 3
3回答
如何删除重复内容？
、、、、
我有一个分类网站( PHP和Mysql)，在那里用户可以免费发布他们的广告。但用户经常发布重复的广告。该脚本不允许他们发布完全相同的重复内容，因此他们通过更改一个或两个字符来做到这一点。
有没有办法找到重复的广告并提醒用户(即使他们修改了文本的某些部分)？
我的网站是PHP和Mysql。我正在使用sphix进行搜索。正在考虑将其更改为mongodb和apache solr。
浏览 3提问于2013-06-08得票数 5
1回答
我正在处理一个大型的产品数据集(大约100万)。这些产品来自许多不同的来源，因此它们所列数据的方式不一致。其中的一个大问题是变异产品的品牌名称(~17000个独特品牌)。一些品牌有多达10个差异，需要联系在一起。
问题：
不一致的蚂蚁间距：喷气式煮沸对Jet煮沸
标点符号：Granger对Grangers
噪音词汇：是北脸还是北脸
税务公司：无敌舰队对无敌滑雪板
符号：菲尔和特兹对菲尔和特兹
Mis-spelling: Patagonia诉Pategonia
其他奇才：贝尔体育对贝尔体育#81037
示例数据集
Black Diamond
Black D
浏览 1提问于2012-09-07得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
