当前位置:   article > 正文

使用Python分析网易云歌曲评论信息,通过可视化处理我发现了这些有趣的规律...

python 基于大数据的网络歌曲热评数据分析

点击上方“Python爬虫与数据挖掘”,进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

为有云屏无限娇,凤城寒尽怕春宵。

大家好,我是Python进阶者。

前言

前几天有个学生娃子找我帮忙做点可视化的作业,作业内容包括采集网易云音乐热评评论内容,数据量1W作业足够,然后就是做点数据分析相关的工作即可。这份大作业里边有网络爬虫,有数据分析和数据处理,还有可视化,算是一个大实验了,还需要上交实验报告。这里拿出来部分知识点,给大家分享。学生娃的作业,参考了这个文章:网易云音乐评论爬取

数据来源

首先是数据来源,来自网易云音乐热评,代码这里就不放出来了,调用了API获取的,抓取难度就少了许多,这里不在赘述了。

1cbc7e57ddbd0e8f7130878310e7c3cc.png

分析过程

时间处理

下面的代码主要是评论时间分布,主要是针对时间列做了数据处理,常规操作,你也对照的去以日期和月份去挖掘下有意思的事情。

  1. import pandas as pd
  2. from pyecharts import Line
  3. # 读取数据
  4. df = pd.read_csv('music_comments.csv', header=None, names=['name''userid''age''gender''city''text''comment''commentid''praise''date'], encoding='utf-8-sig')
  5. # 根据评论ID去重
  6. df = df.drop_duplicates('commentid')
  7. df = df.dropna()
  8. # 获取时间
  9. df['time'] = [int(i.split(' ')[1].split(':')[0]) for i in df['date']]
  10. # 分组汇总
  11. date_message = df.groupby(['time'])
  12. date_com = date_message['time'].agg(['count'])
  13. date_com.reset_index(inplace=True)
  14. # 绘制走势图
  15. attr = date_com['time']
  16. v1 = date_com['count']
  17. line = Line("歌曲被爆抄袭后-评论的时间分布", title_pos='center', title_top='18', width=800, height=400)
  18. line.add("", attr, v1, is_smooth=True, is_fill=True, area_color="#000", is_xaxislabel_align=True, xaxis_min="dataMin", area_opacity=0.3, mark_point=["max"], mark_point_symbol="pin", mark_point_symbolsize=55)
  19. line.render("歌曲被爆抄袭后-评论的时间分布.html")

运行之后,得到的效果图如下所示:

68e7882148b2507b690ec731528753b4.png可以看到评论的小伙伴喜欢在下午临近下班和晚上的时候进行评论。

用户评论数量

代码和上面差不多,只需要更改下数据即可。

  1. import pandas as pd
  2. # 读取数据
  3. df = pd.read_csv('music_comments.csv', header=None, names=['name''userid''age''gender''city''text''comment''commentid''praise''date'], encoding='utf-8-sig')
  4. # 根据评论ID去重
  5. df = df.drop_duplicates('commentid')
  6. df = df.dropna()
  7. # 分组汇总
  8. user_message = df.groupby(['userid'])
  9. user_com = user_message['userid'].agg(['count'])
  10. user_com.reset_index(inplace=True)
  11. user_com_last = user_com.sort_values('count', ascending=False)[0:10]
  12. print(user_com_last)

运行之后,得到的结果如下所示:

092ec829a4950add714c3340829f5323.png

可以看到有忠粉,狂粉,评论数据上百,恐怖如斯。

评论词云

词云这个老生常谈了,经常做,直接套用模板,改下底图即可,代码如下:

  1. from wordcloud import WordCloud
  2. import matplotlib.pyplot as plt
  3. import pandas as pd
  4. import random
  5. import jieba
  6. # 设置文本随机颜色
  7. def random_color_func(word=None, font_size=None, position=None, orientation=None, font_path=None, random_state=None):
  8.     h, s, l = random.choice([(1887253), (2536356), (127869)])
  9.     return "hsl({}, {}%, {}%)".format(h, s, l)
  10. # 读取信息
  11. df = pd.read_csv('music_comments.csv', header=None, names=['name''userid''age''gender''city''text''comment''commentid''praise''date'], encoding='utf-8-sig')
  12. # 根据评论ID去重
  13. df = df.drop_duplicates('commentid')
  14. df = df.dropna()
  15. words = pd.read_csv('chineseStopWords.txt', encoding='gbk', sep='\t', names=['stopword'])
  16. # 分词
  17. text = ''
  18. for line in df['comment']:
  19.     text += ' '.join(jieba.cut(str(line), cut_all=False))
  20. # 停用词
  21. stopwords = set('')
  22. stopwords.update(words['stopword'])
  23. backgroud_Image = plt.imread('music.jpg')
  24. wc = WordCloud(
  25.     background_color='white',
  26.     mask=backgroud_Image,
  27.     font_path='FZSTK.TTF',
  28.     max_words=2000,
  29.     max_font_size=250,
  30.     min_font_size=15,
  31.     color_func=random_color_func,
  32.     prefer_horizontal=1,
  33.     random_state=50,
  34.     stopwords=stopwords
  35. )
  36. wc.generate_from_text(text)
  37. # img_colors = ImageColorGenerator(backgroud_Image)
  38. # 看看词频高的有哪些
  39. process_word = WordCloud.process_text(wc, text)
  40. sort = sorted(process_word.items(), key=lambda e: e[1], reverse=True)
  41. print(sort[:50])
  42. plt.imshow(wc)
  43. plt.axis('off')
  44. wc.to_file("网易云音乐评论词云.jpg")
  45. print('生成词云成功!')

最后生成的词云图如下所示:

f1c877496597d37cbd4dc59bf189fa1d.png
用户年龄

代码和上面差不多,只需要更改下数据即可,这里直接放效果图了,如下图所示:

2a4a4597e118da910e4ce6d8fcf42f27.png

感觉还是年轻的粉丝居多啊!

地区分布

这个代码稍微复杂一些了,毕竟涉及到地图,代码如下:

  1. import pandas as pd
  2. from pyecharts import Map
  3. def city_group(cityCode):
  4.     """
  5.     城市编码
  6.     """
  7.     city_map = {
  8.         '11''北京',
  9.         '12''天津',
  10.         '31''上海',
  11.         '50''重庆',
  12.         '5e''重庆',
  13.         '81''香港',
  14.         '82''澳门',
  15.         '13''河北',
  16.         '14''山西',
  17.         '15''内蒙古',
  18.         '21''辽宁',
  19.         '22''吉林',
  20.         '23''黑龙江',
  21.         '32''江苏',
  22.         '33''浙江',
  23.         '34''安徽',
  24.         '35''福建',
  25.         '36''江西',
  26.         '37''山东',
  27.         '41''河南',
  28.         '42''湖北',
  29.         '43''湖南',
  30.         '44''广东',
  31.         '45''广西',
  32.         '46''海南',
  33.         '51''四川',
  34.         '52''贵州',
  35.         '53''云南',
  36.         '54''西藏',
  37.         '61''陕西',
  38.         '62''甘肃',
  39.         '63''青海',
  40.         '64''宁夏',
  41.         '65''新疆',
  42.         '71''台湾',
  43.         '10''其他',
  44.     }
  45.     cityCode = str(cityCode)
  46.     return city_map[cityCode[:2]]
  47. # 读取数据
  48. df = pd.read_csv('music_comments.csv', header=None, names=['name''userid''age''gender''city''text''comment''commentid''praise''date'], encoding='utf-8-sig')
  49. # 根据评论ID去重
  50. df = df.drop_duplicates('commentid')
  51. df = df.dropna()
  52. # 进行省份匹配
  53. df['location'] = df['city'].apply(city_group)
  54. # 分组汇总
  55. loc_message = df.groupby(['location'])
  56. loc_com = loc_message['location'].agg(['count'])
  57. loc_com.reset_index(inplace=True)
  58. # 绘制地图
  59. value = [i for i in loc_com['count']]
  60. attr = [i for i in loc_com['location']]
  61. print(value)
  62. print(attr)
  63. map = Map("歌曲被爆抄袭后评论用户的地区分布图", title_pos='center', title_top=0)
  64. map.add("", attr, value, maptype="china", is_visualmap=True, visual_text_color="#000", is_map_symbol_show=False, visual_range=[060])
  65. map.render('歌曲被爆抄袭后评论用户的地区分布图.html')

最后得到的效果图如下所示:

ed726f9c6a416e5cb140c2d159dc5675.png可以看到四川、广东省的评论数量居多。

粉丝性别

代码和上面的差不多,这里不再赘述,直接上效果图了。

0a7d1be8e1015d3fe9e7e7ccf8ab63c7.png

可以看到女粉丝占据了大头。

总结

大家好,我是Python进阶者。这篇文章主要基于网易云热评数据,利用了Python中的数据处理库pandas进行数据处理和分析,并利用可视化库pyecharts给大家分享了相关图形的制作方法,并发现了一些有趣的数据分析结果。

最后也欢迎大家积极尝试,有好的内容也可以分享给我噢!

99b5b2c7042d9adb1358e41c0f3e129f.png

小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

f0d412dfc3520c785d24a27d7e327079.png

------------------- End -------------------

往期精彩文章推荐:

dbc6fcfde6f63a0bbb7571fc265a1395.png

欢迎大家点赞,留言,转发,转载,感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群

万水千山总是情,点个【在看】行不行

/今日留言主题/

随便说一两句吧~~

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/409128
推荐阅读
相关标签
  

闽ICP备14008679号