专栏首页机器学习AI算法工程Slope one:简单高效的推荐算法

Slope one:简单高效的推荐算法

推荐系统最早在亚马逊的网站上应用,根据以往用户的购买行为,推荐出购买某种产品同时可能购买的其他产品,国内做的不错的当当网,有时候买书,它总能给我推荐出我感兴趣的其他书来,也算是技术极大的促进了销售。

一般的协同过滤算法,首先是收集用户对事物(产品)的评分情况,一种直接对某本书,或者某个歌曲打分,另种是隐性的打分,比如商务系统中,购买了表示打2分,浏览了打1分,其他的0分。我比较看好隐性打分,因为直接打分需要用户的参与程度比较高,很多网站都在内容页中留一个打分的按钮,从1~5选一个,我可能喜欢这篇文章,可我哪里知道我喜欢的程度是几分啊,还要我去思考,而网站设计中一条很重要的原则是:Do not let me think!,于是我就胡打一个分数或者不打,而隐性的打分则不同,只有你喜欢的图书你才会购买,只有你喜欢的歌曲才会听多次。

收集好用户的打分之后,通过最近邻搜索到和某个事物或者某个人特征或者兴趣相近的其他事物或者人,最近邻搜索算法一般是皮尔森相关系数(Person Correlation Coefficient)、余弦相似性(Cosine-based Similarity)以及调整余弦相似性(Adjusted Cosine Similarity)。关于余弦定理在数据挖掘中的应用,google黑白报有过介绍,可以参考数学之美 系列 12 - 余弦定理和新闻的分类。

剩下的工作就是根据最近邻集进行推荐了。

最近邻集的运算相对来说成本比较高,尤其是大量数据的时候,今天和大家分享的是一种简单高效的协同过滤算法:Slope one

基本原理

用户

对事物A打分

对事物B打分

X

3

4

Y

2

4

Z

4

?

用户Z对事物B的打分可能是多少呢?股票上有个说法是平均值可以掩盖一切异常波动,所以股票上的各个技术指标收拾不同时间段的平均值的曲线图或者柱状图等。同样的,Slope one算法也认为:平均值也可以代替某两个未知个体之间的打分差异,事物A对事物B的平均很差是:((3 - 4) + (2 - 4)) / 2 = -1.5,也就是说人们对事物B的打分一般比事物A的打分要高1.5,于是Slope one算法就猜测Z对事物B的打分是4 + 1.5 = 5.5

是不是非常的简单?

加权算法

有n个人对事物A和事物B打分了,R(A->B)表示这n个人对A和对B打分的平均差(A-B),有m个人对事物B和事物C打分了,R(B->C)表示这m个人对B和对C打分的平均差(B-C),注意都是平均差而不是平方差,现在某个用户对A的打分是ra,对C的打分是rc,那么A对B的打分可能是:

rb = (n * (ra - R(A->B)) + m * (rb + R(B->C)))/(m+n)

开源的Slope one的程序包

  • Python http://www.serpentine.com/blog/2006/12/12/collaborative-filtering-made-easy/
  • Java http://taste.sourceforge.net/ http://www.daniel-lemire.com/fr/documents/publications/SlopeOne.java http://www.nongnu.org/cofi/
  • PHP http://sourceforge.net/projects/vogoo http://www.drupal.org/project/cre http://www.daniel-lemire.com/fr/documents/publications/webpaper.txt
  • Slope one算法作者写的,简单明了,强烈推荐。
  • Erlang http://chlorophil.blogspot.com/2007/06/collaborative-filtering-weighted-slope.html
  • C# http://www.kuqin.com/algorithm/20080628/10205.html
  • 国人写的C#版本
  • T-SQL http://blog.charliezhu.com/2008/07/21/implementing-slope-one-in-t-sql/

还有一些其他语言的版本,请参考http://en.wikipedia.org/wiki/Slope_One,即将面世的,居于PHP & Mysql的Slope one算法实现将会在http://code.google.com/p/openslopeone/开源出来,主要优化的是海量数据以及分布式处理,目前在我的笔记本上(迅驰+1.5G内存),对440W打分记录进行测试,单一线程,3小时47分处理完。速度还算是不错了,最近工作实在太忙了,等我整理好会开源出来放在上面的地址。过几天会有一篇我的算法的详细介绍,盼诸位批评指正,共同学习,共同进步。

本文分享自微信公众号 - 大数据挖掘DT数据分析(datadw)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 车辆目标检测

    机器学习AI算法工程
  • 决策树--从原理到Python实现

    决策树基本上是每一本机器学习入门书籍必讲的东西,其决策过程和平时我们的思维很相似,所以非常好理解,同时有一堆信息论的东西在里面,也算是一个入门应用,决策树也有回...

    机器学习AI算法工程
  • R&Python玩家诉求词云分析

    作者:Fish http://www.gamedas.com 一、数据爬虫 在实际工作中,数据的来源不能局限于自家的数据库或者成型的后台,在做某些市场分析或是竞...

    机器学习AI算法工程
  • 程序员过关斩将--Http请求中如何保持状态?

    http协议相对我们的年龄来说,是一个比较古老的协议,它的诞生之初是为了能让人们在互联网的领域自由冲浪。到了现代,http协议不谦虚的讲,已经成为了分布式网络的...

    架构师修行之路
  • IBM网站 构建您的SOA 系列文章

    本系列文章包含三个部分,将在行业采用的流程和方法与 SOA 之间建立紧密的联系,并演示如何将其一起使用。  1. 构建您的 SOA: 第 1 部分,成熟度与...

    张善友
  • SOA相关资料整理分享

    蘑菇先生
  • SOA体系结构之基础培训教程-大纲篇

    最近受邀做了一个企业的SOA体系结构的内训,本文是内训课程的培训大纲,分享一下吧,希望大家能够喜欢。同时也想针对大纲中列出的内容对SOA架构体系做一次回顾,如果...

    数据饕餮
  • SOA和微服务的区别并不是size!

    Stephen O’Grady 对于那些已经在技术行业有一段时间的人来说,一般总是想要去比较甚至将当前的微服务现象等同于更古老的面向服务架构(SOA)的做法。有...

    ImportSource
  • 腾讯云轻量应用服务器(Lighthouse)初体验

    进入产品控制台后,侧边功能栏只有“服务器”和“密钥”板块,内测通过后、后台是没有直接生成主机的:

    Levi.Ackermann
  • LeetCode 191 Number of 1 Bits

    这里用到了位运算, 如数字 5, 二进制位为 101, 那么使用 & 运算, 和 1 进行与运算, 如:

    一份执着✘

扫码关注云+社区

领取腾讯云代金券