devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

基于Python网络爬虫的评论大数据采集分析及可视化_大数据爬虫可视化案例

作者：IT小白 | 2024-04-16 15:27:32

赞

踩

大数据爬虫可视化案例

目录

实例简介：

系统结构图：

=================P1 数据获取与保存=================

要使用的库

找到目标数据

爬虫设计

保存到数据库

保存数据至XLSX工作表

将工作表上传至HDFS文件管理系统

 主函数

想知道有没有方法解决！！！！

===================P2 生成词云===================

要使用的库

 程序代码如下，生成词云

===================P3 数据展示===================

===================P4其他===================

实例简介：

通过网络爬虫获取目标网页评论区数据（官方账号/知名UP），使用评论区评论内容生成词云，并将数据保存至数据库和XLSX 工作表。再读取数据库内数据并展示到HTML网页；同时将生成的XLSX 工作表上传至HDFS文件管理系统。

（链接：【冰冰vlog.001】带大家看看每个冬天我必去的地方_哔哩哔哩_bilibili）

系统结构图：

=================P1 数据获取与保存=================

要使用的库

  1. import re
  2. import xlwt
  3. import requests
  4. import json
  5. import sqlite3
  6. import time
  7. import random

找到目标数据

打开目标网页（B站评论显示为动态加载），使用F12键打开开发者工具，使用开发者工具中的网络工具。

查看内容刷新时服务器向浏览器返回的内容，找到main?csrf=项，点击查看请求url和user-agent（爬虫需要使用该部分内容）。滑动评论区，观察每次展示新评论时url的变换，找到其中的规律。

爬虫设计

1.自定义ask_url(in_url)函数：in_url表示要爬取的网页url链接，函数返回HTML信息，下一步从中挑选需要的内容。User-Agent通过上一部分使用开发者工具获得。

  1. def ask_url(in_url):
  2.     head = {
  3.         "User-Agent": "Mozilla / 5.0(WindowsNT10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 112.0.0.0Safari / 537.36Edg / 112.0.1722.68"
  4.     }
  5.     try:
  6.         time.sleep(random_time())
  7.         r = requests.get(in_url, headers=head)
  8.         r.raise_for_status()
  9.         print(r.status_code)
  10.         r.encoding = r.apparent_encoding
  11.         html = r.text
  12.         return html
  13.     except:
  14.         print("ERROR")
  15.  
  16.

2.从HTML中找到数据。自定义函数getdata(dep)，通过正则表达式筛选内容。dep表示需要爬取的页面数目，函数返回列表data_list

  1. # 从html信息中获得需要的内容，并把获得的内容保存到data_list中
  2. def getdata(dep):
  3.     data_list = []
  4.     for i in range(dep):
  5.         url1 = 'https://api.bilibili.com/x/v2/reply/main?csrf=885d8049fbe8d890325dbac3ad57a05a&mode=3&next=' + \
  6.                str(i + 1) + '&oid=800760067&plat=1&type=1'
  7.  
  8.         html = ask_url(url1)
  9.  
  10.         data = re.findall(find, html)
  11.         jsonobj = json.loads(data[0])
  12.  
  13.         for item in jsonobj:
  14.  
  15.             data = []
  16.  
  17.             name = item['member']['uname']
  18.             mid = item['mid']
  19.             organisation = item['member']['official_verify']['desc']
  20.             comment = item['content']['message'].replace('\n', '')
  21.             link = 'https://space.bilibili.com/' + str(mid)
  22.             reply_text = item['reply_control']["sub_reply_entry_text"]
  23.             reply_num = re.findall(find_num, reply_text)[0]
  24.  
  25.             if organisation != '':
  26.                 data.append(name)
  27.                 data.append(link)
  28.                 data.append(mid)
  29.                 data.append(organisation)
  30.                 data.append(comment)
  31.                 data.append(int(reply_num))
  32.  
  33.             if not data:
  34.                 continue
  35.             else:
  36.                 data_list.append(data)
  37.     print('获取数据完成')
  38.     return data_list

用到的正则表达式

  1. find = re.compile(r'\"replies\":(.*?),\"top\"')
  2. find_num = re.compile(r'共(.*?)条回复')

保存到数据库

 本例使用PyCharm 2023.1专业版，可以直接使用数据库（社区版可能不行）。

以下部分代码是使用Python操作数据库（初始化（建表）、删除表、保存数据）。

  1. # 数据库初始化
  2. def db_init(db_path):  # db_path表示数据库位置（路径）
  3.     dbpath = db_path
  4.     sql = '''
  5.         create table comment
  6.         (
  7.         id integer primary key autoincrement,
  8.         user_name varchar,
  9.         space_link varchar,
  10.         mid numeric,
  11.         be_organ varchar,
  12.         comment varchar,
  13.         reply_count numeric
  14.         
  15.         )
  16.     '''
  17.     conn = sqlite3.connect(dbpath)
  18.     cursor = conn.cursor()
  19.     cursor.execute(sql)
  20.     conn.commit()
  21.     conn.close()
  22.     print('数据库初始化完成')
  23.  
  24. # 删除数据库中的表格
  25. def delete_table(db_path='comment.db'):
  26.     dbpath = db_path
  27.     sql1 = '''drop table comment;'''
  28.     conn = sqlite3.connect(dbpath)
  29.     cursor = conn.cursor()
  30.     cursor.execute(sql1)
  31.     conn.commit()
  32.     conn.close()
  33.  
  34.  
  35. # 把data_list中的内容保存到已经初始化的数据库中
  36. def save_date_to_db(data_list, in_path):
  37.     
  38.     db_init(in_path)
  39.     conn = sqlite3.connect(in_path)
  40.     cur = conn.cursor()
  41.  
  42.     for date in data_list:
  43.         for index in range(len(date)):
  44.             if index == 2 or index == 5:
  45.                 continue
  46.             date[index] = '"' + str(date[index]) + '"'
  47.         sql = '''
  48.                 insert into comment(
  49.                 user_name, space_link, mid, be_organ, comment, reply_count)
  50.                 values(%s)''' % ",".join('%s' % a for a in date)
  51.         # print(sql)
  52.         cur.execute(sql)
  53.         conn.commit()
  54.     cur.close()
  55.     conn.close()
  56.     print("数据已保存至数据库")
  57.

保存数据至XLSX工作表

把列表data_list中的数据保存到工作表中。position表示要保存的位置

  1. # 将data_list中的内容保存到xlsx文件中
  2. def save_data(data_list, position):
  3.     book = xlwt.Workbook(encoding="utf-8")
  4.     sheet = book.add_sheet("sheet1", cell_overwrite_ok=True)
  5.     col = ("昵称", "空间链接", "mid", "所属机构", "评论内容", "评论回复")
  6.     for i in range(0, len(col)):
  7.         sheet.write(0, i, col[i])
  8.  
  9.     for m in range(len(data_list)):
  10.         print("正在保存第{}条数据到xlsx文件".format(m + 1))
  11.         data = data_list[m]
  12.         for n in range(0, len(col)):
  13.             sheet.write(m + 1, n, data[n])
  14.     book.save(position)
  15.     print('数据已保存至xlsx文件中')
  16.

保存效果

将工作表上传至HDFS文件管理系统

在Linux系统，完成大数据平台（Hadoop）相关配置，打开终端，通过命令进行文件上传、下载操作，表格在hdfs保存路径：/user/data/comment.xlsx

  1.  
  2. start-dfs.sh	启动hdfs
  3. Jps	查看进程
  4. hdfs dfs -ls /user	查看hdfs目录内容
  5. hdfs dfs -put /home/jerry/桌面/comment.xlsx /user/data	上传文件至目标目录
  6. hdfs dfs -rm -f /user/data/comment.xlsx		删除目标文件
  7. hdfs dfs -ls /user/data	查看目录内容
  8. hdfs dfs -get /user/data/comment.xlsx /home/jerry/下载	把文件下载至路径/home/jerry/下载
  9. 登陆网站 http://localhost:9870	查看文件
  10. hdfs dfs -chmod 777 /user/data		给目标文件夹增加权限

 主函数

  1. def main():
  2.     print("请输入要爬取的页面数目（请输入小于23的正整数）：")
  3.     depth = int(input())  # 获取爬取页面数目
  4.     list1 = getdata(depth)
  5.     print('共获得%d条数据' % len(list1))
  6.     # 数据的保存路径，xlsx路径和数据库路径
  7.     path = r"C:\Users\C11\Desktop\co.xlsx"
  8.     path_to_db = "comment.db"
  9.  
  10.     save_data(list1, path)      # 保存数据到指定路径的xlsx文件中
  11.  
  12.     delete_table()
  13.     save_date_to_db(list1, path_to_db)         # 保存数据到指定路径的数据库中
  14.  
  15.     print('共用时:', time.perf_counter() - start)
  16.  
  17.  
  18.  
  19. main()  # 调用主函数
  20. print('FINISH')

 测试发现，dep大于等于23时会报错。

想知道有没有方法解决！！！！

执行效果（dep=11）

===================P2 生成词云===================

要使用的库

  1. import re
  2. import numpy as np
  3. import requests
  4. import jieba
  5. import json
  6. from matplotlib import pyplot as plt
  7. from wordcloud import WordCloud
  8. from PIL import Image
  9. import time
  10. import random

 程序代码如下，生成词云

  1. start = time.perf_counter()
  2. exception = re.compile(r'\[.*?\]')
  3. find = re.compile(r'\"replies\":(.*?),\"top\"')
  4.  
  5. # 获取网页内容
  6. def ask_url(in_url):
  7.     head = {
  8.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.34"
  9.     }
  10.     try:
  11.         r = requests.get(in_url, headers=head)
  12.         r.raise_for_status()
  13.         print(r.status_code)
  14.         r.encoding = r.apparent_encoding
  15.         html = r.text
  16.     except:
  17.         print("ERROR")
  18.     return html
  19.  
  20. # 将字符串分割
  21. def word_cut(in_text):
  22.     cut = jieba.cut(in_text)
  23.     string = ' '.join(cut)
  24.     return string
  25.  
  26. # 生成词云
  27. def word_cloud(str1):
  28.     # 要使用的图片模板（背景颜色必须为白色）
  29.     img = Image.open(r'C:\Users\C11\Desktop\QQpicture1.jpg')
  30.     img_array = np.array(img)
  31.     wordcloud = WordCloud(
  32.         background_color='white',
  33.         stopwords=['的', '了', '是', '我', '在'],
  34.         mask=img_array,
  35.         font_path='STHUPO.TTF',  # 设置字体样式，从C:\Windows\Fonts 路径下寻找字体
  36.  
  37.     )
  38.     wordcloud.generate_from_text(str1)
  39.     # fig = plt.figure(1)
  40.     plt.imshow(wordcloud)
  41.     plt.axis('off')
  42.     plt.savefig(r"C:\Users\C11\Desktop\comment.jpg", dpi=1100)
  43.  
  44. # 将html中的评论连接成一个字符串
  45. def connect_word(text, count_num):
  46.     data = re.findall(find, text)
  47.     jsonobj = json.loads(data[0])
  48.     s1 = ''
  49.     in_count = count_num
  50.     for item in jsonobj:
  51.         d = item['content']
  52.         # print(item['content'])
  53.         # print(type(item['content']))
  54.         in_count += 1
  55.         s1 += d['message']
  56.     s1 = re.sub(exception, '', s1)
  57.     s1 = s1.replace('\n', '').replace('
    声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/434993
    推荐阅读
    相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。