当前位置:   article > 正文

简单的用Python采集下微博评论,制作可视化词云图_爬虫微博评论生成词云

爬虫微博评论生成词云

简单的用Python来获取微博评论,制作词云图。

首先准备环境模块

环境使用

  • Python 3.8或以上版本即可
  • Pycharm 任意版本

模块使用

import requests 
import wordcloud 
import jieba  
  • 1
  • 2
  • 3

以上三个模块都需要安装,直接pip install 加上模块名安装即可。

爬虫基本流程

一. 数据来源分析

  1. 明确需求: 明确采集的网站以及数据内容
    - 网址: https://weibo.com/2803301701/NxcPMvW2l
    - 数据: 评论内容
  2. 抓包分析: 通过开发者工具进行抓包
    - 打开开发者工具: F12
    - 刷新网页
    - 通过关键字查找对应的数据
    关键字: 评论的内容
    数据包地址: https://weibo.com/ajax/statuses/buildComments?is_reload=1&id=4979141627611265&is_show_bulletin=2&is_mix=0&count=10&uid=2803301701&fetch_level=0&locale=zh-CN

二. 代码实现步骤

  1. 发送请求 -> 模拟浏览器对于url地址发送请求
  2. 获取数据 -> 获取服务器返回响应数据
  3. 解析数据 -> 提取评论内容
  4. 保存数据 -> 保存本地文件 (文本 csv Excel 数据库)

代码展示

数据采集部分

1、发送请求 -> 模拟浏览器对于url地址发送请求

# 模拟浏览器
headers = {
    # Referer 防盗链
    'Referer':'https://weibo.com/2803301701/NxcPMvW2l',
    # User-Agent 用户代理
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

# 请求网址
url = 'https://weibo.com/ajax/statuses/buildComments'
# 请求参数
data = {
    'is_reload': '1',
    'id': '4979141627611265',
    'is_show_bulletin': '2',
    'is_mix': '0',
    'max_id': max_id,
    'uid': '2803301701',
    'fetch_level': '0',
    'locale': 'zh-CN',
}
# 发送请求
response = requests.get(url=url, params=data, headers=headers)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23

2、获取数据 -> 获取服务器返回响应数据

json_data = response.json()
print(json_data)
  • 1
  • 2

3、解析数据 -> 提取评论内容

# 提取评论所在列表
content_list = json_data['data']
# for循环遍历, 提取列表里面元素
for index in content_list:
    content = index['text_raw']
    print(content)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

4、保存数据

保存文本

with open('data.txt', mode='a', encoding='utf-8') as f:
    f.write(content)
    f.write('\n')
print(content)
  • 1
  • 2
  • 3
  • 4

保存表格

with open('data.txt', mode='a', encoding='utf-8') as f:
        f.write(content)
        f.write('\n')
    print(content)

df = pd.DataFrame(lis)
df.to_excel(excel_writer:'data.xlsx', index=False)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

学习资源推荐
除了上述分享,学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/899395
推荐阅读
相关标签