1回答
我在Spark dataframe中有包含两列的Dataframe，每一列都包含一个numeric(例如，double或float)类型的标量。 我想将这两列解释为向量，并计算它们之间的余弦相似度。到目前为止，我只发现了可以在数据帧单元中的密度向量上使用的火花线性代数。代码示例 numpy中的
浏览 32提问于2020-07-14得票数 0
回答已采纳
我希望能够使用MXNet计算行向量之间的余弦距离。此外，我正在处理批次的样本，并希望计算每对样本的余弦距离(即批次#1的第一行向量与批次#2的第一行向量的余弦距离)。两个向量之间的余弦距离的定义与中<em
浏览 0提问于2018-04-03得票数 0
我有两个数据集D1和D2。每个数据集具有n个特征(列)，并且特征值具有不同的尺度。我需要找到D1和D2中每对相关样本之间的余弦距离，以量化D1和D2的相似程度。在使用余弦距离之前，需要对D1和D2进行归一化吗？我使用scipy.spatial.distance.cosine(u，v)来计算样本u和样本v之间的距离。
谢谢!
浏览 4提问于2020-03-26得票数 1
1回答
不同库的余弦相似输出不同
、、、
我试图找出两个n维向量之间的余弦距离。我通过使用枕木和滑雪板来做到这一点。不知为何，这两个库的输出是不同的。我不明白为什么。print metrics.pairwise_distances(np.reshape(a,(1,4)),np.reshape(b,(1,4)),metric = 'cosine')[0][0]
此代码的输出如下
浏览 2提问于2016-05-03得票数 1
回答已采纳
1回答
我必须计算每一行之间的余弦距离，但我不知道如何使用Spark，Dataframes优雅地实现它。这样做的目的是计算每一行(项目)的相似性，并通过比较行间的相似性来获取前10个相似点。->这是项目-项目推荐系统的需要。
我所读到的都是关于列的计算相似性，有人说，是否可以使用PySpark Dataframe的</em
浏览 4提问于2017-10-10得票数 7
回答已采纳
1回答
如何计算两纬度与经度的距离
、、、、
我想计算两个纬度和经度点之间的距离，我读过关于，Haversine公式，和球余弦定律，来计算两点之间的距离，但我的主要动机是得到两点之间的最佳位置差。以为例，的两个设备位于彼此的位置，而android设备是发送到服务器的位置，所以我们需要将每个设备的
浏览 1提问于2016-09-19得票数 4
我是Spark ML的新手。Spark ML具有用于Jaccard距离的MinHash实现。请参阅文档。在示例代码中，用于比较的输入数据来自向量。我对示例代码没有任何疑问。但是，当我使用文本文档作为输入，然后通过word2Vec将它们转换为向量时，我得到的jaccard距离为0。不知道我的代码出了什么问题。一些我不明白的事情。提前感谢您的帮助。();
从Word2Vec中<
浏览 4提问于2019-11-01得票数 1
我在L2归一化的特征矩阵上使用Matlab的常规kmeans算法和'Distance'，'cosine'，'EmptyAction'，'drop‘，我有一个问题。Matlab生成的输出只是将每个数据点分配给集群1.00000，即使k=20和C中的所有质心都是NaN。对于可能导致这种情况的原因，有人有什么建议吗？矩阵的布局是(0,1，...,1,0,1，...,0,1，...,1,0,1)。在将文件传递
浏览 0提问于2012-05-09得票数 1
回答已采纳
5回答
我想知道他们之间的区别是什么，在什么情况下他们工作得最好？余弦相似是度量内积空间中两个非零向量之间相似性的度量，它度量了它们之间夹角的余弦。0°的余弦为1，对于(0，π)半径的任意角度都小于1。
列文希廷距离是一个用于测量两个序列之间差异的字符串度量。非正式
浏览 0提问于2019-11-18得票数 5
回答已采纳
我使用了不同的相似度矩阵，如欧几里得、曼哈顿和余弦，当我使用余弦相似度时，Dunn指数为负值。我读到过邓恩指数的取值范围从0到无穷大。使用余弦相似度计算Dunn指数是正确的吗？
浏览 94提问于2019-06-12得票数 1
回答已采纳
2回答
文档函数的相似性
、、、、
我试图为文档的余弦距离和欧几里德距离创建矩阵。不太确定我会怎么处理这个问题。如有任何建议，将不胜感激。谢谢。该函数以termdoc矩阵作为输入，并计算变量"euclidean_distance_matrix“和"cosine_distance_matrix"，这两个矩阵的元素(i，j)存储了tweet i-th和input之间的欧氏距离和余弦距离。应该
浏览 5提问于2020-05-21得票数 1
据我所知，伟大的text2vec软件包的dist2 RWMD特性将矩阵之间的距离计算为余弦距离。这不是意味着1-(余弦相似度)吗？如果余弦相似度在0到1之间运行，那么不是也应该得到0到1之间的值吗？我不确定在这种情况下如何解释负距离，以及它们与正距离有何不同。谢谢!
浏览 18提问于2019-10-25得票数 0
对于推荐系统，我需要计算整个Spark DataFrame的所有列之间的余弦相似度。在Pandas中，我经常这样做：import pandas as pd
metrics.pairwise.cosine_similarity(df.T,df.T)
这会生成列<e
浏览 3提问于2017-05-12得票数 13
1回答
Jaccard距离的选择
、、、
为了计算两组单词之间的距离，我使用jaccard距离：
JaccardDistance(A, B) = 1 - JaccardIndex(A, B) = 1 - (|A ∩ B| / |A ∪ B|)现在我想知道，还有其他类似的距离度量，返回0，1之间的值吗？0表示这两个集合包含完全相同的元素，而一个完全不同的元素。这两组可能有不同的</em
浏览 0提问于2021-05-01得票数 0
回答已采纳
我正在尝试实现textrank算法，其中我正在计算所有句子的余弦相似矩阵。我想使用Spark并行创建相似矩阵的任务，但不知道如何实现it.Here代码： cluster_summary_dict = {} cluster_summary_dict[cluster] = pagerank_sentences 这里，cluster_wise_sen是一个字典，它包含不同簇的句
浏览 165提问于2020-07-20得票数 2
回答已采纳
我有一个40*4的矩阵M和一个有40个元素的向量A。我想计算A和M中每个列向量之间的余弦距离。或者有另一种更好的方法来做这件事？谢谢!
浏览 0提问于2012-11-03得票数 3
回答已采纳
在计算单词之间的相似度时，cosine相似度或距离是在字向量上计算的。为什么其他的距离度量，如欧几里德距离，不适合这个任务。
让我们考虑两个向量a和b。其中，a = [-1,2,-3]和b = [-3,6,-9]，这里的b = 3*a，也就是，这两个向量有相同的方向，但大小不同。a和b的余弦相似性为1，表明它们是一致的<
浏览 0提问于2020-09-03得票数 9
回答已采纳
1回答
我想要一些关于理解TF-IDF向量结果的方法的反馈，以及可能的替代方法。def why_match(doc_vector_a, doc_vector_b, sklearn_tfidfvectoriz
浏览 2提问于2018-10-27得票数 0
在Apache Spark中，有没有将余弦距离的KMeans应用于Tf-IDF处理的数据帧的工作实现？
Spark，当然在ml库中有欧几里得距离实现，但对于任何其他距离度量都不是这样。
浏览 0提问于2017-06-26得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
