赞
踩
Windows
一.直接安装
在https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的Twisted的版本文件
在命令行进入到Twisted的目录 执行pip install 加Twisted文件名
执行pip install scrapy
二.annaconda 下安装 (官方推荐)
安装conda
conda旧版本 https://docs.anaconda.com/anaconda/packages/oldpkglists/
安装方法 https://blog.csdn.net/ychgyyn/article/details/82119201
安装scrapy conda install scrapy
scrapy2.5中文文档:https://www.osgeo.cn/scrapy/intro/tutorial.html
scrapy2.7官方文档:https://docs.scrapy.org/en/latest/index.html
Scrapy是纯Python开发的一个高效,结构化的网页抓取框架。
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 Scrapy使用了Twisted 异步网络库来处理网络通讯。
(只要提到框架,就要重视它的运行流程/逻辑顺序)
举个粟子:
注意:图中的弧线的意义:
spiders网页爬虫
items项目
engine引擎
scheduler调度器
downloader下载器
item pipelines项目管道
middleware中间设备,中间件
上图显示了Scrapy框架的体系结构及其组件,以及系统内部发生的数据流(由红色的箭头显示。)
Scrapy中的数据流由执行引擎控制,流程如下:
首先从网页爬虫获取初始的请求
将请求放入调度模块,然后获取下一个需要爬取的请求
调度模块返回下一个需要爬取的请求给引擎
引擎将请求发送给下载器,依次穿过所有的下载中间件
一旦页面下载完成,下载器会返回一个响应包含了页面数据,然后再依次穿过所有的下载中间件。
引擎从下载器接收到响应,然后发送给爬虫进行解析,依次穿过所有的爬虫中间件
爬虫处理接收到的响应,然后解析出item和生成新的请求,并发送给引擎
引擎将已经处理好的item发送给管道组件,将生成好的新的请求发送给调度模块,并请求下一个请求
该过程重复,直到调度程序不再有请求为止。
如果你要执行以下操作之一,请使用Downloader中间件:
如果你需要以下操作请使用爬虫中间件:
Scrapy Engine(引擎)
引擎负责控制系统所有组件之间的数据流,并在发生某些操作时触发事件。
scheduler(调度器)
调度程序接收来自引擎的请求,将它们排入队列,以便稍后引擎请求它们。
Downloader(下载器)
下载程序负责获取web页面并将它们提供给引擎,引擎再将它们提供给spider。
spider(爬虫)
爬虫是由用户编写的自定义的类,用于解析响应,从中提取数据,或其他要抓取的请求。
Item pipeline(管道)
管道负责在数据被爬虫提取后进行后续处理。典型的任务包括清理,验证和持久性(如将数据存储在数据库中)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。