python爬虫：爬取穷游网的地点数据，世界那么大，我想去看看。_爬虫爬取旅游网站

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

一、前言

世界那么大，我想去看看。
要么读书，要么旅游，身体和心灵必须有一个在路上。
想必大家心里都向往旅游，那么旅游中的行程安排和地区热门景点有哪些呢？
可能都需要在网上去找旅游攻略，今天就带大家采集旅游网站的景点数据。

二、课程亮点

1. 系统分析网页性质
2. 结构化的数据解析
3. csv数据保存

三、所用到得库

import csv
import requests
import parsel
from concurrent.futures import ProcessPoolExecutor
import multiprocessing
1
2
3
4
5

四、环境配置

python 3.6
pycharm
requests
parsel
csv

五、爬虫案例的一般实现步骤:

1.找数据所在的URL地址
2.发送网络请求
3.数据的解析(我们需要的数据)
4.数据的保存

六、找寻数据所在处

lock = multiprocessing.Lock()  # 创建进程锁对象

def send_request(url):
    """请求数据"""
    headers = {
   
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
1
2
3
4
5
6