推荐系统实战-基于用户的协同过滤
1、数据集简介
MovieLens数据集包含多个用户对多部电影的评级数据，也包括电影元数据信息和用户属性信息。
这个数据集经常用来做推荐系统，机器学习算法的测试数据集。尤其在推荐系统领域，很多著名论文都是基于这个数据集的。(PS: 它是某次具有历史意义的推荐系统竞赛所用的数据集)。
下载地址为：http://files.grouplens.org/datasets/movielens/，有好几种版本，对应不同数据量，本文所用的数据为1M的数据。
2、数据介绍
1m的数据解压后，可以看到四个主要的csv文件，分别是links.csv,movies.csv,ratings.csv,tags.csv。links介绍了该数据集中的movieId和imdb、tmdb中电影的对应关系。tags是用户的打标签数据。本文的介绍主要基于ratings.csv 和 movies.csv
ratings数据 文件里面的内容包含了每一个用户对于每一部电影的评分。数据格式如下： userId, movieId, rating, timestamp userId: 每个用户的id movieId: 每部电影的id rating: 用户评分，是5星制，按半颗星的规模递增(0.5 stars - 5 stars) timestamp: 自1970年1月1日零点后到用户提交评价的时间的秒数 数据排序的顺序按照userId，movieId排列的。
我们用pandans观察数据的描述及前五行：
ratings = pd.read_csv('../data/ml-1m/ratings.csv',index_col=None)
ratings.describe()
ratings.head(5)输出为：
movies数据 文件里包含了一部电影的id和标题，以及该电影的类别。数据格式如下： movieId, title, genres movieId:每部电影的id title:电影的标题 genres:电影的类别（详细分类见readme.txt）
我们用pandans观察数据的前五行：
movies = pd.read_csv('../data/ml-1m/movies.csv',index_col=None)
movies.head(5)输出为：
合并数据集 我们可以根据movieId来合并两个数据集
data = pd.merge(ratings,movies,on='movieId')汇总每部电影的评分数量 合并数据集之后，我们可以看一下每部电影的评分数量，并按照降序进行排序：
rating_count_by_movie = data.groupby(['movieId','title'],as_index=False)['rating'].count()
rating_count_by_movie.columns=['movieId','title','rating_count']
rating_count_by_movie.sort_values(by=['rating_count'],ascending=False,inplace=True)
rating_count_by_movie[:10]输出为：
得到打分的平均值及方差
rating_stddev = data.groupby(['movieId','title']).agg({'rating':['mean','std']})
rating_stddev.head(10)输出为：
3、数据预处理
首先，我们定义我们数据的路径，并使用pandas读入：
moviesPath = '../data/ml-1m/movies.csv'
ratingsPath = '../data/ml-1m/ratings.csv'
moviesDF = pd.read_csv(moviesPath,index_col=None)
ratingsDF = pd.read_csv(ratingsPath,index_col=None)这里我们按照4:1的比例将数据集进行拆分，同时打印出总的用户和电影数量、训练集中的用户和电影数量以及测试集中的用户和电影数量：
trainRatingsDF,testRatingsDF = train_test_split(ratingsDF,test_size=0.2)print("total_movie_count:"+str(len(set(ratingsDF['movieId'].values.tolist()))))
print("total_user_count:" + str(len(set(ratingsDF['userId'].values.tolist()))))
print("train_movie_count:" + str(len(set(trainRatingsDF['movieId'].values.tolist()))))
print("train_user_count:" + str(len(set(trainRatingsDF['userId'].values.tolist()))))
print("test_movie_count:" + str(len(set(testRatingsDF['movieId'].values.tolist()))))
print("test_user_count:" + str(len(set(testRatingsDF['userId'].values.tolist()))))结果为：
total_movie_count:9066
total_user_count:671
train_movie_count:8381
train_user_count:671
test_movie_count:4901
test_user_count:671所以，这里并不是所有的电影都被分到测试集合训练集中。接下来，我们得到用户-电影的评分矩阵，使用pandas的数据透视功能，同时，我们得到电影id和用户id与其对应索引的映射关系：
trainRatingsPivotDF = pd.pivot_table(trainRatingsDF[['userId','movieId','rating']],columns=['movieId'],index=['userId'],values='rating',fill_value=0)
moviesMap = dict(enumerate(list(trainRatingsPivotDF.columns)))
usersMap = dict(enumerate(list(trainRatingsPivotDF.index)))
ratingValues = trainRatingsPivotDF.values.tolist()4、用户相似度计算
这里我们使用余弦相似度来计算用户之间的相似度关系：
def calCosineSimilarity(list1,list2):
res = 0
denominator1 = 0
denominator2 = 0
for (val1,val2) in zip(list1,list2):
res += (val1 * val2)
denominator1 += val1 ** 2
denominator2 += val2 ** 2
return res / (math.sqrt(denominator1 * denominator2))随后，需要计算用户之间的相似度矩阵，对于用户相似度矩阵，这是一个对称矩阵，同时对角线的元素为0，所以我们只需要计算上三角矩阵的值即可：
userSimMatrix = np.zeros((len(ratingValues),len(ratingValues)),dtype=np.float32)
for i in range(len(ratingValues)-1):
for j in range(i+1,len(ratingValues)):
userSimMatrix[i,j] = calCosineSimilarity(ratingValues[i],ratingValues[j])
userSimMatrix[j,i] = userSimMatrix[i,j]接下来，我们要找到与每个用户最相近的K个用户，用这K个用户的喜好来对目标用户进行物品推荐，这里K=10，下面的代码用来计算与每个用户最相近的10个用户：
userMostSimDict = dict()
for i in range(len(ratingValues)):
userMostSimDict[i] = sorted(enumerate(list(userSimMatrix[0])),key = lambda x:x[1],reverse=True)[:10]5、电影推荐
得到了每个用户对应的10个兴趣最相近的用户之后，我们根据下面的公式计算用户对每个没有观看过的电影的兴趣分：
这里，如果用户已经对电影打过分，那么兴趣值就是0，代码如下：
userRecommendValues = np.zeros((len(ratingValues),len(ratingValues[0])),dtype=np.float32)
for i in range(len(ratingValues)):
for j in range(len(ratingValues[i])):
if ratingValues[i][j] == 0:
val = 0
for (user,sim) in userMostSimDict[I]:
val += (ratingValues[user][j] * sim)
userRecommendValues[i,j] = val接下来，我们为每个用户推荐10部电影：
userRecommendDict = dict()
for i in range(len(ratingValues)):
userRecommendDict[i] = sorted(enumerate(list(userRecommendValues[i])),key = lambda x:x[1],reverse=True)[:10]将推荐的结果转换为推荐列表之后，我们将推荐结果转换为二元组，这里要注意的是，我们一直使用的是索引，我们需要将索引的用户id和电影id转换为真正的用户id和电影id，这里我们前面定义的两个map就派上用场了：
userRecommendList = []
for key,value in userRecommendDict.items():
user = usersMap[key]
for (movieId,val) in value:
userRecommendList.append([user,moviesMap[movieId]])最后一步，我们将推荐结果的电影id转换成对应的电影名，并打印结果：
recommendDF = pd.DataFrame(userRecommendList,columns=['userId','movieId'])
recommendDF = pd.merge(recommendDF,moviesDF[['movieId','title']],on='movieId',how='inner')
recommendDF.tail(10)结果如下：
