推荐系统业界hello world

# -*- coding:utf-8 -*-

import pandas as pd
import numpy as np


def main():
    header = ['user_id', 'item_id', 'rating', 'timestamp']
    dataset = pd.read_csv('u.csv', sep=',', names=header)

    # 获取去重用户数
    users = dataset.user_id.unique().shape[0]

    # 获取去重电影数
    items = dataset.item_id.unique().shape[0]

    # 生成用户物品矩阵
    user_item_matrix = np.zeros((items, users))
    for line in dataset.itertuples():
        user_item_matrix[line[2] - 1, line[1] - 1] = line[3]

    # 持久化
    np.savetxt('user_item_matrix.csv', user_item_matrix, delimiter=',')


if __name__ == '__main__':
    main()

# -*- coding:utf-8 -*-

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics.pairwise import pairwise_distances
from sklearn.metrics import mean_squared_error
from math import sqrt


def main():
    header = ['user_id', 'item_id', 'rating', 'timestamp']
    dataset = pd.read_csv('u.csv', sep=',', names=header)

    # 获取去重用户数，共943个用户
    users = dataset.user_id.unique().shape[0]

    # 获取去重电影数，共1682部电影
    items = dataset.item_id.unique().shape[0]

    # 以3:1的比例，划分数据集为训练集和测试集
    train_data, test_data = train_test_split(dataset, test_size=0.25)

    # 生成训练集的用户物品矩阵
    train_data_matrix = np.zeros((items, users))
    for line in train_data.itertuples():
        train_data_matrix[line[2] - 1, line[1] - 1] = line[3]

    # 生成测试集的用户物品矩阵
    test_data_matrix = np.zeros((items, users))
    for line in test_data.itertuples():
        test_data_matrix[line[2] - 1, line[1] - 1] = line[3]

    # 计算两两物品之间的相似度，item_similarity是一个1682*1682的矩阵
    item_similarity = pairwise_distances(train_data_matrix, metric='cosine')

    """
        矩阵相乘；
        其中item_similarity是一个1682*1682的矩阵，下标为(i,j)的元素表示第i部电影和第j部电影的相似度；
        train_data_matrix是一个1682*943的矩阵，下标为(i,j)的元素表示第j个用户对第i部电影的打分；
        forecast_data_matrix是一个1682*943的矩阵，下标为(i,j)的元素表示第j个用户对第i部电影的预测打分，其根据第i部电影与其他电影的相似度向量，以及第j个用户对其他电影的实际打分向量，经过向量点乘计算得到；
    """
    forecast_data_matrix = item_similarity.dot(train_data_matrix)

    # 计算每一部电影与其他电影的相似度的和，作为权重，用于调整forecast_data_matrix
    weights = np.array([item_similarity.sum(axis=1)])

    # 加权的forecast_data_matrix矩阵，使weighted_forecast_data_matrix的元素取值范围接近1-5
    weighted_forecast_data_matrix = forecast_data_matrix / weights.T

    '''
        基于测试集，评估预测效果；其中，评估指标使用均方差误差;
        test_data_matrix是1682*943的矩阵，一个共有25000个样本，评估预测效果时，只计算这部分样本，预测值和实际值的误差；
    '''

    predicted_value_list = []
    actual_value_list = []

    for i in range(1682):
        for j in range(943):
            actual_value = test_data_matrix[i][j]
            if actual_value != 0:
                actual_value_list.append(actual_value)
                predicted_value = weighted_forecast_data_matrix[i][j]
                predicted_value_list.append(predicted_value)

    MSE = sqrt(mean_squared_error(predicted_value_list, actual_value_list))

    print("MSE is {MSE}".format(MSE=MSE))


if __name__ == '__main__':
    # 输出：MSE is 3.4505954993448706
    main()