Slope one:简单高效的推荐算法

推荐系统最早在亚马逊的网站上应用,根据以往用户的购买行为,推荐出购买某种产品同时可能购买的其他产品,国内做的不错的当当网,有时候买书,它总能给我推荐出我感兴趣的其他书来,也算是技术极大的促进了销售。

一般的协同过滤算法,首先是收集用户对事物(产品)的评分情况,一种直接对某本书,或者某个歌曲打分,另种是隐性的打分,比如商务系统中,购买了表示打2分,浏览了打1分,其他的0分。我比较看好隐性打分,因为直接打分需要用户的参与程度比较高,很多网站都在内容页中留一个打分的按钮,从1~5选一个,我可能喜欢这篇文章,可我哪里知道我喜欢的程度是几分啊,还要我去思考,而网站设计中一条很重要的原则是:Do not let me think!,于是我就胡打一个分数或者不打,而隐性的打分则不同,只有你喜欢的图书你才会购买,只有你喜欢的歌曲才会听多次。

收集好用户的打分之后,通过最近邻搜索到和某个事物或者某个人特征或者兴趣相近的其他事物或者人,最近邻搜索算法一般是皮尔森相关系数(Person Correlation Coefficient)、余弦相似性(Cosine-based Similarity)以及调整余弦相似性(Adjusted Cosine Similarity)。关于余弦定理在数据挖掘中的应用,google黑白报有过介绍,可以参考数学之美 系列 12 - 余弦定理和新闻的分类。

剩下的工作就是根据最近邻集进行推荐了。

最近邻集的运算相对来说成本比较高,尤其是大量数据的时候,今天和大家分享的是一种简单高效的协同过滤算法:Slope one

基本原理

用户

对事物A打分

对事物B打分

X

3

4

Y

2

4

Z

4

?

用户Z对事物B的打分可能是多少呢?股票上有个说法是平均值可以掩盖一切异常波动,所以股票上的各个技术指标收拾不同时间段的平均值的曲线图或者柱状图等。同样的,Slope one算法也认为:平均值也可以代替某两个未知个体之间的打分差异,事物A对事物B的平均很差是:((3 - 4) + (2 - 4)) / 2 = -1.5,也就是说人们对事物B的打分一般比事物A的打分要高1.5,于是Slope one算法就猜测Z对事物B的打分是4 + 1.5 = 5.5

是不是非常的简单?

加权算法

有n个人对事物A和事物B打分了,R(A->B)表示这n个人对A和对B打分的平均差(A-B),有m个人对事物B和事物C打分了,R(B->C)表示这m个人对B和对C打分的平均差(B-C),注意都是平均差而不是平方差,现在某个用户对A的打分是ra,对C的打分是rc,那么A对B的打分可能是:

rb = (n * (ra - R(A->B)) + m * (rb + R(B->C)))/(m+n)

开源的Slope one的程序包

  • Python http://www.serpentine.com/blog/2006/12/12/collaborative-filtering-made-easy/
  • Java http://taste.sourceforge.net/ http://www.daniel-lemire.com/fr/documents/publications/SlopeOne.java http://www.nongnu.org/cofi/
  • PHP http://sourceforge.net/projects/vogoo http://www.drupal.org/project/cre http://www.daniel-lemire.com/fr/documents/publications/webpaper.txt
  • Slope one算法作者写的,简单明了,强烈推荐。
  • Erlang http://chlorophil.blogspot.com/2007/06/collaborative-filtering-weighted-slope.html
  • C# http://www.kuqin.com/algorithm/20080628/10205.html
  • 国人写的C#版本
  • T-SQL http://blog.charliezhu.com/2008/07/21/implementing-slope-one-in-t-sql/

还有一些其他语言的版本,请参考http://en.wikipedia.org/wiki/Slope_One,即将面世的,居于PHP & Mysql的Slope one算法实现将会在http://code.google.com/p/openslopeone/开源出来,主要优化的是海量数据以及分布式处理,目前在我的笔记本上(迅驰+1.5G内存),对440W打分记录进行测试,单一线程,3小时47分处理完。速度还算是不错了,最近工作实在太忙了,等我整理好会开源出来放在上面的地址。过几天会有一篇我的算法的详细介绍,盼诸位批评指正,共同学习,共同进步。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-07-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员互动联盟

程序员最喜欢做的四件事

程序员一般都是比较安静的,把大部分时间花在程序开发上了。那程序员除了上班,一般都有哪些业余的生活呢? 一,宅家里。程序员一般喜欢宅在家里,不太喜欢出去活动。在家...

3418
来自专栏大神带我来搬砖

从技术面试官的角度谈谈简历和面试那些事儿

公司组织过多次校园招聘和社会招聘,忝为首席架构师(因为项目组就一个架构师~~人工摊手),我也多次作为技术面试官参与面试,所以也谈谈面试中那些事儿。 简历 简历...

2857
来自专栏ITCloud的专栏

热力图 : 位置大数据服务的可视化窗口

热力图(Heat Map),是一种简单但非常直观的信息展示方式,TStack 平台里的一个重要的应用服务。最早是在1991年由软件设计师 Cormac Kinn...

1.3K0
来自专栏华章科技

数学有什么用处?看完后恍然大悟!

高等数学有什么用?很多人问过我这个问题。其实大多数人在问这个问题的时候,心里已经预设了否定的答案。确实,对于大多数人来说,已经发展到了连数字都基本很少用了的一些...

412
来自专栏编程坑太多

自己的利益靠自己争取,开发就是这么坑!

1234
来自专栏LET

最美的理论(上篇)

1394
来自专栏mathor

“洛必达”or“伯努利”法则

964
来自专栏Python中文社区

Python分析《羞羞的铁拳》电影观众评论

專 欄 ❈ 伟楠,Python中文社区专栏作者,数据分析师,知乎专栏:数据故事会。 https://www.zhihu.com/people/hao-wei-...

2057
来自专栏专知

【经典重读】统计学习那些事

!【导读】 这是杨灿博士在早年写的关于统计学习的一些见解,尤其关于Lasso与Boosting。当年我读博2011年时期间看到这篇文章,也是受益良多。作者文采很...

2553
来自专栏Java帮帮-微信公众号-技术文章全总结

【非技术面试】如何克服面试紧张

如何克服面试紧张 我们是谁? 开发工程师 我们的日常是? 打代码,聊需求 工作什么最重要? 自信! 面试紧张直接影响到求职成功与否。那么怎样才能调节好自己的心理...

3868

扫描关注云+社区