赞
踩
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取。
1.项目背景
基于物品的协同过滤推荐(Item-based CF)的假设原理为:跟你喜欢的东西相似的东西你也很有可能喜欢。基于物品的协同过滤推荐并不通过对item的评分来评测item之间的相关性,而是基于item的相似性做推荐,其核心就是:给用户推荐他之前喜欢的物品的相似物品。
首先使用训练数据得到用户的偏好信息矩阵和物品的特征信息矩阵,然后计算用户对未进行评分电影的偏好分,最后选取前K个推荐给用户
本项目应用物品的协同过滤推荐算法进行相似度计算、给用户推荐及模型评估。
2.数据获取
本次建模数据来源于网络(本项目撰写人整理而成),数据项统计如下:
数据详情如下(部分展示):
数据解释:例如 1::1193::5::978300760
该条记录队列的列是 UserID::MovieID::Rating::Timestamp,表示id为1的用户在978300760时对1193电影评分为5。
3.数据预处理
3.1 用Pandas工具查看数据
使用Pandas工具的head()方法查看前五行数据:
关键代码:
3.2 数据缺失查看
使用Pandas工具的info()方法查看数据信息:
从上图可以看到,总共有3个变量,数据中无缺失值,共1000209条数据。
关键代码:
4.探索性数据分析
4.1 评分变量直方图
用Matplotlib工具的hist()方法绘制直方图:
从上图可以看到,评分平均记录主要集中在3.0~4.5之间。
5.特征工程
5.1 数据集拆分
通过splitData()方法进行数据集拆分,关键代码如下:
6.构建电影推荐系统
主要使用基于物品的协同过滤推荐算法构建电影推荐系统。
6.1 相似度计算
关键代码:
相似度计算结果展示:
6.2 对用户进行推荐
对用户1进行推荐,推荐结果如下:
通过上表可以看出,是按照推荐值的大小从高到低进行排序的。
7.模型评估
7.1 评估指标及结果
评估指标主要包括准确率。
从上表可以看出,准确率为19%,作为一个推荐系统,在数据量有限的情况下,此效果良好。
关键代码如下:
8.结论与展望
综上所述,本项目采用了基于物品的协同过滤推荐算法来构建电影推荐系统,主要包括数据集的读取、拆分、探索性数据分析、物品相似度计算、对用户进行推荐、模型的评估等,最终证明了我们提出的模型效果较好。
- # 本次机器学习项目实战所需的资料,项目资源如下:
-
- # 项目说明:
-
- # 链接:https://pan.baidu.com/s/1Jp8qZXae9DAyBsxpPbpOCw
- # 提取码:y0pq
-
-
- data = []
- for line in open(self.datafile): # 循环读取数据
- userid, itemid, record, _ = line.split("::") # 字符串拆分
- data.append((userid, itemid, int(record))) # 数据加入列表
-
- df_data = pd.DataFrame(data=data, columns=['userid', 'itemid', 'record'])
- # 用Pandas工具查看数据
- print(df_data.head())
- print('******************************')
-
- # 数据缺失值统计
- print(df_data.info())
- print('******************************')
-
- record_m = df_data.groupby("userid")["record"].mean()
- import matplotlib.pyplot as plt
-
- # y变量分布直方图
- fig = plt.figure(figsize=(8, 5)) # 设置画布大小
- plt.rcParams['font.sans-serif'] = 'SimHei' # 设置中文显示
- plt.rcParams['axes.unicode_minus'] = False # 解决保存图像是负号'-'显示为方块的问题
- # 绘制直方图 bins:控制直方图中的区间个数 auto为自动填充个数 color:指定柱子的填充色
- plt.hist(record_m, bins='auto', color='g')
- plt.xlabel('record')
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。