利用python进行数据分析—MoviesLens 1M数据集_movieslens数据集毕业论文与毕业论文数据集和过程做法几乎完全一样

目录

MoviesLens 1M数据集

1.1数据预处理

1.2 计算电影平均得分

1.3 数据过滤

1.4 数据排序

 1.5 计算评分分歧

1.6 统计电影风格类型 

MoviesLens 1M数据集

GroupLens实验室提供了一些从MoviesLens用户那里收集的20世纪90年代末到21世纪初的电影评分数据的集合。浙西额数据提供了电影的评分、流派、年份和观众数据（年龄、邮编、性别、职业）。 MovisLens1M数据集包含6000个用户对4000部电影的100万个评分。数据分布在三个表格之中：分别包含评分、用户信息和电影信息。

1.1数据预处理

这些数据都是dat文件格式，可以通过pandas.read_table将各个表分别读到一个pandas DataFrame对象中：

unames = ["user_id", "gender", "age", "occupation", "zip"]
users = pd.read_table("datasets/movielens/users.dat", sep="::",
                      header=None, names=unames, engine="python")
 
rnames = ["user_id", "movie_id", "rating", "timestamp"]
ratings = pd.read_table("datasets/movielens/ratings.dat", sep="::",
                        header=None, names=rnames, engine="python")
 
mnames = ["movie_id", "title", "genres"]
movies = pd.read_table("datasets/movielens/movies.dat", sep="::",
                       header=None, names=mnames, engine="python")

 查看信息，加载前5行验证一下数据加载工作是否顺利，代码及运行结果：

users.head(5)
ratings.head(5)
movies.head(5)
ratings

将所有的数据都合并到一个表中的话，问题就简单多了。我们先用pandas的merge函数将ratings和users合并到一起，然后再将movies也合并进去。pandas会根据列名的重叠情况推断出哪些列是合并（或连接）键.

data = pd.merge(pd.merge(ratings, users), movies)
data
data.iloc[0]

1.2 计算电影平均得分

利用数据透视表（pivot_table方法），可计算同一部电影不同性别的平均评分：

mean_ratings = data.pivot_table("rating", index="title",
                                columns="gender", aggfunc="mean")

同样加载前5行验证一下数据加载工作是否顺利：

mean_ratings.head(5)

1.3 数据过滤

过滤掉评分数据不够250条的电影（这个数字可以自己设定）。

为了达到这个目的，我们先对title进行分组，然后利用size()得到一个含有各电影分组大小的Series对象。

active_titles中的电影，都是评论是大于250条以上的。我们可以用这些标题作为索引，从mean_ratings中选出这些评论大于250条的电影。

#分组
ratings_by_title = data.groupby("title").size()
ratings_by_title.head()
#数据过滤
active_titles = ratings_by_title.index[ratings_by_title >= 250]
active_titles

#数据筛选
mean_ratings = mean_ratings.loc[active_titles]
mean_ratings

1.4 数据排序

查看女性观众喜欢的电影，可以按F列进行降序操作：

top_female_ratings = mean_ratings.sort_values("F", ascending=False)
top_female_ratings.head()

 1.5 计算评分分歧

假设我们想要找出男性和女性观众分歧最大的电影。一个办法是给mean_ratings加上一个用于存放平均得分之差的列，并对其进行排序：

mean_ratings["diff"] = mean_ratings["M"] - mean_ratings["F"]
sorted_by_diff = mean_ratings.sort_values("diff")
sorted_by_diff.head()

 对行进行反序操作，并取出前15行，得到的则是男性更喜欢，而女性评价较低的电影：

sorted_by_diff[::-1].head()

 最后，得到所以人分歧最大的电影

rating_std_by_title = data.groupby("title")["rating"].std()
rating_std_by_title = rating_std_by_title.loc[active_titles]
rating_std_by_title.head()
rating_std_by_title.sort_values(ascending=False)[:10]

1.6 统计电影风格类型 

给电影增加风格genres,s加上一个用于存放电影风格的列，方便后续统计计算：

movies["genres"].head()
movies["genres"].head().str.split("|")
movies["genre"] = movies.pop("genres").str.split("|")
movies.head()

 对genre进行拆分，拆分为单项：

movies_exploded = movies.explode("genre")
movies_exploded[:10]

 根据不同年龄段，统计喜欢风格比例：

ratings_with_genre = pd.merge(pd.merge(movies_exploded, ratings), users)
ratings_with_genre.iloc[0]
genre_ratings = (ratings_with_genre.groupby(["genre", "age"])
                 ["rating"].mean()
                 .unstack("age"))
genre_ratings[:10]