如何计算PySpark中两个向量的余弦相似度？
如何计算PySpark中两个向量的余弦相似度？
提问于 2017-10-15 03:34:15
我要计算PySpark中两个向量的余弦相似性，例如
1 - spatial.distance.cosine(xvec, yvec)但是scipy似乎不支持pyspark.ml.linalg.Vector类型。
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-10-15 03:47:39
您可以使用dot和norm方法很容易地计算出这一点：
from pyspark.ml.linalg import Vectors
x = Vectors.dense([1,2,3])
y = Vectors.dense([2,3,5])
1 - x.dot(y)/(x.norm(2)*y.norm(2))
# 0.0028235350472619603带枕
from scipy.spatial.distance import cosine
x = np.array([1,2,3])
y = np.array([2,3,5])
cosine(x, y)
# 0.0028235350472619603页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/46751416
复制相关文章
相似问题
腾讯云开发者
