推荐系统实战-基于用户的协同过滤

1、数据集简介

MovieLens数据集包含多个用户对多部电影的评级数据,也包括电影元数据信息和用户属性信息。

这个数据集经常用来做推荐系统,机器学习算法的测试数据集。尤其在推荐系统领域,很多著名论文都是基于这个数据集的。(PS: 它是某次具有历史意义的推荐系统竞赛所用的数据集)。

下载地址为:http://files.grouplens.org/datasets/movielens/,有好几种版本,对应不同数据量,本文所用的数据为1M的数据。

2、数据介绍

1m的数据解压后,可以看到四个主要的csv文件,分别是links.csv,movies.csv,ratings.csv,tags.csv。links介绍了该数据集中的movieId和imdb、tmdb中电影的对应关系。tags是用户的打标签数据。本文的介绍主要基于ratings.csv 和 movies.csv

ratings数据 文件里面的内容包含了每一个用户对于每一部电影的评分。数据格式如下: userId, movieId, rating, timestamp userId: 每个用户的id movieId: 每部电影的id rating: 用户评分,是5星制,按半颗星的规模递增(0.5 stars - 5 stars) timestamp: 自1970年1月1日零点后到用户提交评价的时间的秒数 数据排序的顺序按照userId,movieId排列的。

我们用pandans观察数据的描述及前五行:

ratings = pd.read_csv('../data/ml-1m/ratings.csv',index_col=None)
ratings.describe()
ratings.head(5)

输出为:

movies数据 文件里包含了一部电影的id和标题,以及该电影的类别。数据格式如下: movieId, title, genres movieId:每部电影的id title:电影的标题 genres:电影的类别(详细分类见readme.txt)

我们用pandans观察数据的前五行:

movies = pd.read_csv('../data/ml-1m/movies.csv',index_col=None)
movies.head(5)

输出为:

合并数据集 我们可以根据movieId来合并两个数据集

data = pd.merge(ratings,movies,on='movieId')

汇总每部电影的评分数量 合并数据集之后,我们可以看一下每部电影的评分数量,并按照降序进行排序:

rating_count_by_movie = data.groupby(['movieId','title'],as_index=False)['rating'].count()
rating_count_by_movie.columns=['movieId','title','rating_count']
rating_count_by_movie.sort_values(by=['rating_count'],ascending=False,inplace=True)
rating_count_by_movie[:10]

输出为:

得到打分的平均值及方差

rating_stddev = data.groupby(['movieId','title']).agg({'rating':['mean','std']})
rating_stddev.head(10)

输出为:

3、数据预处理

首先,我们定义我们数据的路径,并使用pandas读入:

moviesPath = '../data/ml-1m/movies.csv'

ratingsPath = '../data/ml-1m/ratings.csv'

moviesDF = pd.read_csv(moviesPath,index_col=None)
ratingsDF = pd.read_csv(ratingsPath,index_col=None)

这里我们按照4:1的比例将数据集进行拆分,同时打印出总的用户和电影数量、训练集中的用户和电影数量以及测试集中的用户和电影数量:

trainRatingsDF,testRatingsDF = train_test_split(ratingsDF,test_size=0.2)print("total_movie_count:"+str(len(set(ratingsDF['movieId'].values.tolist()))))
print("total_user_count:" + str(len(set(ratingsDF['userId'].values.tolist()))))
print("train_movie_count:" + str(len(set(trainRatingsDF['movieId'].values.tolist()))))
print("train_user_count:" + str(len(set(trainRatingsDF['userId'].values.tolist()))))
print("test_movie_count:" + str(len(set(testRatingsDF['movieId'].values.tolist()))))
print("test_user_count:" + str(len(set(testRatingsDF['userId'].values.tolist()))))

结果为:

total_movie_count:9066
total_user_count:671
train_movie_count:8381
train_user_count:671
test_movie_count:4901
test_user_count:671

所以,这里并不是所有的电影都被分到测试集合训练集中。接下来,我们得到用户-电影的评分矩阵,使用pandas的数据透视功能,同时,我们得到电影id和用户id与其对应索引的映射关系:

trainRatingsPivotDF = pd.pivot_table(trainRatingsDF[['userId','movieId','rating']],columns=['movieId'],index=['userId'],values='rating',fill_value=0)

moviesMap = dict(enumerate(list(trainRatingsPivotDF.columns)))

usersMap = dict(enumerate(list(trainRatingsPivotDF.index)))

ratingValues = trainRatingsPivotDF.values.tolist()

4、用户相似度计算

这里我们使用余弦相似度来计算用户之间的相似度关系:

def calCosineSimilarity(list1,list2):
    res = 0
    denominator1 = 0
    denominator2 = 0
    for (val1,val2) in zip(list1,list2):
        res += (val1 * val2)
        denominator1 += val1 ** 2
        denominator2 += val2 ** 2
    return res / (math.sqrt(denominator1 * denominator2))

随后,需要计算用户之间的相似度矩阵,对于用户相似度矩阵,这是一个对称矩阵,同时对角线的元素为0,所以我们只需要计算上三角矩阵的值即可:

userSimMatrix = np.zeros((len(ratingValues),len(ratingValues)),dtype=np.float32)
for i in range(len(ratingValues)-1):    
    for j in range(i+1,len(ratingValues)):
        userSimMatrix[i,j] = calCosineSimilarity(ratingValues[i],ratingValues[j])
        userSimMatrix[j,i] = userSimMatrix[i,j]

接下来,我们要找到与每个用户最相近的K个用户,用这K个用户的喜好来对目标用户进行物品推荐,这里K=10,下面的代码用来计算与每个用户最相近的10个用户:

userMostSimDict = dict()
for i in range(len(ratingValues)):
    userMostSimDict[i] = sorted(enumerate(list(userSimMatrix[0])),key = lambda x:x[1],reverse=True)[:10]

5、电影推荐

得到了每个用户对应的10个兴趣最相近的用户之后,我们根据下面的公式计算用户对每个没有观看过的电影的兴趣分:

这里,如果用户已经对电影打过分,那么兴趣值就是0,代码如下:

userRecommendValues = np.zeros((len(ratingValues),len(ratingValues[0])),dtype=np.float32)
for i in range(len(ratingValues)):
    for j in range(len(ratingValues[i])):
            if ratingValues[i][j] == 0:
                val = 0            
                for (user,sim) in userMostSimDict[I]:
                    val += (ratingValues[user][j] * sim)
                userRecommendValues[i,j] = val

接下来,我们为每个用户推荐10部电影:

userRecommendDict = dict()
for i in range(len(ratingValues)):
    userRecommendDict[i] = sorted(enumerate(list(userRecommendValues[i])),key = lambda x:x[1],reverse=True)[:10]

将推荐的结果转换为推荐列表之后,我们将推荐结果转换为二元组,这里要注意的是,我们一直使用的是索引,我们需要将索引的用户id和电影id转换为真正的用户id和电影id,这里我们前面定义的两个map就派上用场了:

userRecommendList = []
for key,value in userRecommendDict.items():
    user = usersMap[key]    
    for (movieId,val) in value:
        userRecommendList.append([user,moviesMap[movieId]])

最后一步,我们将推荐结果的电影id转换成对应的电影名,并打印结果:

recommendDF = pd.DataFrame(userRecommendList,columns=['userId','movieId'])
recommendDF = pd.merge(recommendDF,moviesDF[['movieId','title']],on='movieId',how='inner')
recommendDF.tail(10)

结果如下:

原文发布于微信公众号 - 小小挖掘机(wAIsjwj)

原文发表时间:2018-01-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

谷歌详述Smart Linkify的核心动力——机器学习

本周推出的最新版谷歌移动操作系统Android Pie,其最轻松的功能之一就是Smart Linkify。它是一种API,可在文本中检测到地址,电话号码和其他此...

812
来自专栏数据派THU

手把手教 | 深度学习库PyTorch(附代码)

原文标题: An Introduction to PyTorch – A Simple yet Powerful Deep LearningLibrary 作者...

1.8K4
来自专栏数据派THU

带你用4行代码训练RNN生成文本(附资源)

本文共1400字,建议阅读6分钟。 本文介绍仅需几行代码就能训练出任意大小和复杂度的文本的神经网络文本发生器。

1182
来自专栏腾讯技术工程官方号的专栏

FPGA异构计算在图片处理上的应用以及HEVC算法原理介绍

作者介绍:chaningwang,2008年毕业于中国科学院研究生院,主攻FPGA高性能计算、FPGA图像处理等方向。 先后在华为、怡化公司从事FPGA开发...

4006
来自专栏数据科学与人工智能

【数据可视化】数据可视化的正确操作方法

数据可视化,是一种用来将复杂信息数据清晰表述出来的强大有力的工具。通过可视化信息,我们的大脑可以更有效地合成和保留信息内容,增强对信息的理解。但是如果不正确数据...

2546
来自专栏AI科技评论

业界 | 一窥谷歌神经机器翻译模型真面貌,其底层框架开源!

去年,谷歌发布了 Google Neural Machine Translation (GNMT),即谷歌神经机器翻译,一个 sequence-to-seque...

3355
来自专栏程序生活

Gensim实现Word2Vec的Skip-Gram模型简介快速上手对语料进行分词使用gensim的word2vec训练模型

简介 Genism是一个开源的Python库,用于便捷高效地提取文档中的语义话题。它用于处理原始的、非结构化的电子文本(“纯文本”),gensim中的一些算法,...

4814
来自专栏超智能体

超智能体L01:9分钟的深度学习

6197
来自专栏逍遥剑客的游戏开发

游戏中的战争迷雾

73211
来自专栏ATYUN订阅号

交互式机器学习:再次让Python变得“活泼”

当使用交互式widget时,笔记本(notebook)就会活跃起来。用户可以可视化和控制数据和模型中的变化。学习变成一种沉浸式的、有趣的体验。 ? 你已经在Ju...

3968

扫码关注云+社区

领取腾讯云代金券