专栏首页Flaneur的文章分享多种相似度计算的python实现

多种相似度计算的python实现

前言

        在机器学习中有很多地方要计算相似度,比如聚类分析和协同过滤。计算相似度的有许多方法,其中有欧几里德距离(欧式距离)、曼哈顿距离、Jaccard系数和皮尔逊相关度等等。我们这里把一些常用的相似度计算方法,用python进行实现以下。大家都是初学者,我认为把公式先写下来,然后再写代码去实现比较好。

欧几里德距离(欧式距离)

几个数据集之间的相似度一般是基于每对对象间的距离计算。最常用的当然是欧几里德距离,其公式为:

#-*-coding:utf-8 -*-

#计算欧几里德距离:
def euclidean(p,q):
#如果两数据集数目不同,计算两者之间都对应有的数
same = 0
for i in p:
    if i in q:
        same +=1

#计算欧几里德距离,并将其标准化
e = sum([(p[i] - q[i])**2 for i in range(same)])
return 1/(1+e**.5)

我们用数据集可以去算一下:

p = [1,3,2,3,4,3]
q = [1,3,4,3,2,3,4,3]
print euclidean(p,q)

得出结果是:0.261203874964

皮尔逊相关度

几个数据集中出现异常值的时候,欧几里德距离就不如皮尔逊相关度‘稳定’,它会在出现偏差时倾向于给出更好的结果。其公式为:

-*-coding:utf-8 -*-

#计算皮尔逊相关度:
def pearson(p,q):
#只计算两者共同有的
    same = 0
    for i in p:
        if i in q:
            same +=1

    n = same
    #分别求p,q的和
    sumx = sum([p[i] for i in range(n)])
    sumy = sum([q[i] for i in range(n)])
    #分别求出p,q的平方和
    sumxsq = sum([p[i]**2 for i in range(n)])
    sumysq = sum([q[i]**2 for i in range(n)])
    #求出p,q的乘积和
    sumxy = sum([p[i]*q[i] for i in range(n)])
    # print sumxy
    #求出pearson相关系数
    up = sumxy - sumx*sumy/n
    down = ((sumxsq - pow(sumxsq,2)/n)*(sumysq - pow(sumysq,2)/n))**.5
    #若down为零则不能计算,return 0
    if down == 0 :return 0
    r = up/down
    return r

用同样的数据集去计算:

p = [1,3,2,3,4,3]
q = [1,3,4,3,2,3,4,3]
print pearson(p,q)

得出结果是:0.00595238095238

曼哈顿距离

曼哈顿距离是另一种相似度计算方法,不是经常需要,但是我们仍然学会如何用python去实现,其公式为:

#-*-coding:utf-8 -*-

#计算曼哈顿距离:
def manhattan(p,q):
#只计算两者共同有的
    same = 0
    for i in p:
        if i in q:
        same += 1
#计算曼哈顿距离
    n = same
    vals = range(n)
    distance = sum(abs(p[i] - q[i]) for i in vals)
    return distance

用以上的数据集去计算:

p = [1,3,2,3,4,3]
q = [1,3,4,3,2,3,4,3]
print manhattan(p,q)

得出结果为4

小结

        这里只讲述了三种相似度的计算方法,事实上还有很多种,由于我也是刚学,其他的方法还不是很了解,以后碰到了再补上。一般情况下,这三种方法是最常用的,足够我们使用了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据集的划分--训练集、验证集和测试集

            在机器学习中,经常提到训练集和测试集,验证集似有似无。感觉挺好奇的,就仔细查找了文献。以下谈谈训练集、验证集和测试集。

    Flaneur
  • 第一次测试题总结

    这里是一些暑期培训第一次测试题的部分解释,经过这次测试的摧残,总结备录一下,方便日后回顾复习。

    Flaneur
  • 卷积神经网络(CNN)

            CNN,即卷积神经网络,主要用于图像识别,分类。这篇卷积神经网络是前面介绍的多层神经网络的进一步深入,它将深度学习的思想引入到了神经网络当中,通...

    Flaneur
  • 牛客网 连续子数组的最大和

    HZ偶尔会拿些专业问题来忽悠那些非计算机专业的同学。今天测试组开完会后,他又发话了:在古老的一维模式识别中,常常需要计算连续子向量的最大和,当向量全为正数的时候...

  • 大型网站的日志分析和数据挖掘工作

    日志分析与数据挖掘常常被我们所忽视,其实不管是大型网站还是中小网站,都是一件很有意义的工作。只是大型网站的日志分析和数据挖掘工作难度要更高一些,因为数据量实在太...

    良家佐言
  • configtx.yaml中文注解 原

    configtx.yaml是Hyperledger Fabric区块链网络运维工具configtxgen用于生成通道创世块或通道交易的配置文件,configtx...

    用户1408045
  • 文件分割与合并

    shimeath
  • 陈勋教授的脑电信号降噪视频与讲座总结

    中国科学技术⼤学的陈勋教授陈勋教授分享的脑电信号降噪讲座,可谓是干货满满。这里特别感谢陈勋教授,也感谢南方科技大学的神经计算与控制实验室(NCC lab)的生物...

    脑机接口社区
  • DKhadoop安装包下载与DKM监控参数说明

    前阶段用了差不多两周的时间把DKhadoop的运行环境搭建以及安装的各个操作都介绍了一遍。关于DKhadoop安装包下载也只是顺带说了一下,但好像大快搜索的服务...

    IT小白龙
  • 主流 PaaS 平台架构:谷歌GAE、AEB、Cloud Foundry、Heroku

    公有 PaaS 平台并没有达成共识,没有统一应用的 PaaS 服务 API,因此不便于应用在各平台之间移植。谷歌、亚马逊与微软三大巨头在 PaaS 领域分庭对立...

    博文视点Broadview

扫码关注云+社区

领取腾讯云代金券