python获取评论数据_python爬取论坛评论

这次的案例实现的过程跟某条的差不多，因为两个案例有很多共同之处，如果想爬取某条评论的，又找不到思路，希望可以通过这个案例给大家一点小小的启发。

一、分析网页

我们需要爬取的就是图片箭头这些新闻数据，可以很清楚的看到这些数据都是在主页里面，也就是说，这是一个纯纯的html网页，我们只需要提取出该网页里面的新闻的标题和新闻的链接就可以了,我们点击进入到新闻页面去看一下,我们需要找到该新闻的评论信息的位置，如图：

我们需要提取的就是箭头所指的这些，评论作者，作者id，评论内容，评论地这些数据，我们进入到分析页面去具体看一下，

如图所示，可以看到，我们直接定位的是xhr选项下，找到包含这些数据的数据包，发现是一个json格式的数据，找到了数据的位置，下面看一下数据的链接是如何形成的

可以看到这个数据包链接是通过这几个参数形成的，通过分析，这几个参数里面，codeid是一个变化的参数，pageno这个是翻页的参数，其他的参数都是固定的参数，我们最主要的就是要找到这个codeid参数，

通过搜索我们可以发现这个codeid的参数就在该新闻页面的里面，我们要找到这个参数，就要在包含该新闻页面的html里面提取出来这个参数，然后携带这个参数请求包含评论数据的链接，来获取我们需要的评论数据，最后保存数据就可以了，知道了大概的思路，下面我们就来看一下代码吧：

案例所需模块：

import httpx
import parsel
import re
import json
import pandas as pd
1
2
3
4
5

二、发送请求，获取响应数据

def parse_url(url):
    with httpx.Client(base_url=home_url) as s:
        r = s.get(url, headers=headers)
        return r.content.decode()
1
2
3
4

三、提取新闻标题和链接

def get_news_datas(html_str):
    html = parsel.Selector(html_str)
    for item in html.css('.Review-item>li'):
        yield {
            'news_title': item.css('.module-title>a::text').get(),
            'news_link': item.css('.module-title>a::attr(href)').get(),
        }
1
2
3
4
5
6
7

四、提取codeid参数数据

def get_params(html_str2):
    news_id = re.search('_DOC_ID="(\d+)";', html_str2).group(1)
    params = {
        "codeId": news_id,
        "codeType": "1",
        "pageNo": "1",
        "order": "1",
        "ff": "www",
    }
    return params
1
2
3
4
5
6
7
8
9
10

五、对评论数据页面发送请求，获取响应数据并提取需要的评论数据

def parse_url2(url, params):
    r = httpx.get(url, headers=headers, params=params)
    return r.content.decode()


def get_comment_datas(news_data, json_str):
    json_datas = json.loads(json_str)
    for json_data in json_datas['items']:
        yield {
            # 提取新闻标题
            'news_title': news_data['news_title'],
            # 提取评论作者名字
            'comment_user': json_data['user_nick'],
            # 提取评论作者id
            'comment_user_id': json_data['user_id'],
            # 提取评论的内容
            'comment_text': json_data['content'].replace('\n', "").replace('<br />', "").replace('<strong>',"").replace('</strong>', ""),
            # 提取评论作者的所在城市
            'comment_user_where': json_data['location_text'],
        }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

六、保存评论数据

def save_datas(comment_list):
    df = pd.DataFrame(comment_list)
    df.to_csv('./comment_data.csv', index=False,encoding='utf-8-sig')
    print('数据保存成功')
1
2
3
4

七、实现程序的主要逻辑思路

def main():
    comment_list = []
    html_str = parse_url(home_url)
    news_datas = get_news_datas(html_str)
    for news_data in news_datas:
        html_str2 = parse_url(news_data['news_link'])
        params = get_params(html_str2)
        json_str = parse_url2(api_url, params)
        comment_datas = get_comment_datas(news_data, json_str)
        for comment_data in comment_datas:
            comment_list.append(comment_data)
    save_datas(comment_list)
1
2
3
4
5
6
7
8
9
10
11
12

完成效果: