获取携程网站上指定景点的用户评论数据

古人说:成功的关键在于坚持不懈,所以小编晚上跟着B站一起学习了,并写出了这篇文章,学习在于努力

本文获取的是携程旅游网站中不同景点的评论数据,

1.导入相应的模块

import requests
import json
import csv

2.定义postUrl变量为携程网站评论数据请求的URL。接着定义urls列表，包含不同景点的poiId和名称

postUrl = "https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList"
 
# 将景点poiId和名称添加到此处
urls = [
    ['76865', '星海广场'],
    ['75628', '棒棰岛'],
    ['75633', '大连森林动物园'],
    ['60514877', '三寰牧场'],
    ['75635', '劳动公园'],
    ['23035466', '东港音乐喷泉广场'],
    ['79494', '海之韵广场'],
    ['87618', '金石滩度假区'],
    ['87748', '滨海路'],
    ['87647', '滨海国家地质公园'],
    ['24845945', '莲花山观景台'],
    ['92196', '白玉山景区'],
    ['13301914', '大连天门山国家森林公园'],
]

3.遍历urls列表，对于每个景点，首先定义data_pre变量，包含评论数据请求的参数，其中poiId为当前景点的poiId

for id in urls:
    print("正在爬取景点：", id[1])
    # 通过返回值判断总评论数，每页9条，计算出总页数，对大于2000条的数据只爬取两千条
    data_pre = {
        "arg": {
            "channelType": 2,
            "collapseType": 0,
            "commentTagId": 0,
            "pageIndex": 1,
            "pageSize": 10,
            "poiId": id[0],
            "sourceType": 1,
            "sortType": 3,
            "starType": 0
        },
        "head": {
            "cid": "09031069112760102754",
            "ctok": "",
            "cver": "1.0",
            "lang": "01",
            "sid": "8888",
            "syscode": "09",
            "auth": "",
            "xsid": "",
            "extension": []
        }
    }

4.发送post请求获取该景点评论的总页数，将返回的数据解析为json格式，从中获取评论总数，计算出总页数total_page。如果总页数大于300，则将total_page设置为300。接着遍历1到total_page，对于每一页，定义data变量，包含评论数据请求的参数，其中pageIndex为当前页数。

 html = requests.post(postUrl, data=json.dumps(data_pre)).text
    html = json.loads(html)
 
    # 确定总页数总页数
    total_page = int(html['result']['totalCount'] / 10)
    if total_page > 300:
        total_page = 300
    # 遍历查询评论
    print("总页数:", total_page, "爬取中")

5.发送post请求获取评论数据，将返回的数据解析为json格式，从中获取每条评论的内容result，并将其保存到csv文件中。最后输出该景点的名称和爬取完成的提示信息。

 # 创建写入csv文件
    path = '景点数据.csv'
    xuhao = 0
    with open(path, 'w', newline='', encoding='utf-8') as f:
        file = csv.writer(f)
        file.writerow(['序号', '景区ID', '景区名称', '评论'])
        for page in range(1, int(total_page) + 1):
            data = {
                "arg": {
                    "channelType": 2,
                    "collapseType": 0,
                    "commentTagId": 0,
                    "pageIndex": page,
                    "pageSize": 10,
                    "poiId": id[0],
                    "sourceType": 1,
                    "sortType": 3,
                    "starType": 0
                },
                "head": {
                    "cid": "09031069112760102754",
                    "ctok": "",
                    "cver": "1.0",
                    "lang": "01",
                    "sid": "8888",
                    "syscode": "09",
                    "auth": "",
                    "xsid": "",
                    "extension": []
                }
            }
            html = requests.post(postUrl, data=json.dumps(data)).text
            html = json.loads(html)
            # 获取评论
            for j in range(10):
                result = html['result']['items'][j]['content']
                file.writerow([xuhao, id[0], id[1], result])
                print([xuhao, id[0], id[1], result])
                xuhao += 1
    print(id[1], "爬取完成")

常用的获取数据工具包括Scrapy、BeautifulSoup、Selenium等。Scrapy是一个Python编写的开源网络爬虫框架，可以快速高效地进行数据爬取，支持多线程、分布式爬取等功能。BeautifulSoup是一个Python库，可以快速解析HTML和XML文档，提取需要的信息。Selenium是一个自动化测试工具，可以模拟人类操作浏览器，对于一些需要登录或滑动验证码的网站爬取非常有用。

除了工具，还有一些常用的技巧可以提高数据爬取的效率。例如，设置合适的请求头可以避免被网站反爬虫机制拦截；使用代理IP可以避免频繁访问同一网站被封禁IP；使用多线程或异步IO可以提高爬取速度等等。同时，还需要注意遵守网站的robots协议和法律法规，不进行恶意爬取和侵犯隐私等行为。