[爬虫]3.4.2 Scrapy的Item, Spider, Pipeline等组件_scrapy pipline 和 item

Scrapy框架由多个互相协作的组件构成。本节将详细介绍其中的几个主要组件：Item, Spider, Pipeline。

1. Item

在Scrapy中，爬取的数据被封装在Item对象中。你可以将Item视为一个简单的Python字典。Item用于定义爬取数据的数据结构。

例如，如果你想爬取一个博客网站，你可能需要保存每篇博客的标题，发布日期和内容。你可以定义一个BlogPostItem如下：

import scrapy

class BlogPostItem(scrapy.Item):
    title = scrapy.Field()
    date = scrapy.Field()
    content = scrapy.Field()
1
2
3
4
5
6

然后，在你的Spider中，你可以创建一个新的BlogPostItem，并设置其字段：

def parse(self, response):
    item = BlogPostItem()
    item['title'] = response.css('h1::text').get()
    item['date'] = response.css('.date::text').get()
    item['content'] = response.css('.content::text').get()
    return item
1
2
3
4
5
6

2. Spider

Spider是定义如何爬取网站（即如何进行页面请求，如何解析响应）的地方。每个Spider必须定义一个唯一的名字，定义爬取的行为，以及如何从网页内容中抽取Item。

import scrapy
from myproject.items import BlogPostItem

class BlogSpider(scrapy.Spider):
    name = "blog"
    start_urls = [
        'http://myblog.com',
    ]

    def parse(self, response):
        for post in response.css('.post'):
            item = BlogPostItem()
            item['title'] = post.css('h1::text').get()
            item['date'] = post.css('.date::text').get()
            item['content'] = post.css('.content::text').get()
            yield item
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

3. Pipeline

Item Pipeline负责处理被Spider抽取出来的Item。常见的处理数据的方法包括清洗HTML数据，验证爬取的数据（检查Item包含某些字段），查重（并丢弃）以及存储到数据库。

以下是一个简单的Pipeline示例，将所有爬取到的Items存入一个JSON文件：

import json

class JsonWriterPipeline(object):

    def open_spider(self, spider):
        self.file = open('items.jl', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item
1
2
3
4
5
6
7
8
9
10
11
12
13
14

要启用Item Pipeline，你必须将其添加到你项目的ITEM_PIPELINES配置中，如：

ITEM_PIPELINES = {'myproject.pipelines.JsonWriterPipeline': 1}
1

其中，字典的键是类的路径，值是数字，数字定义了运行的顺序：项目中的Item Pipeline将按照这个顺序运行，数字小的优先。

以上是Scrapy的主要组件：Item，Spider以及Pipeline的简介。希望这些信息能帮助你更好地理解Scrapy框架的工作原理，以便你可以更有效地使用它来完成你的爬虫项目。

补充

Scrapy是一个功能强大的Python开源网络爬虫框架，它提供了一套完整的组件来简化和加速爬虫程序的开发过程。在Scrapy框架中，关键组件包括Item、Spider和Pipeline等。

1. Item（数据项）： Item是定义要从网页中提取的字段的容器。它类似于一个字典或者一个数据模型，用于存储爬取的数据。Scrapy的Item可以自由定义，根据具体需求确定需要提取的字段及其对应的数据类型。通过定义Item，我们可以将从网页中提取的数据结构化地保存起来，方便后续处理和持久化存储。

2. Spider（爬虫）： Spider是Scrapy的核心组件，用于定义爬取网页的规则和流程。一个Spider定义了如何发起爬取、如何跟踪链接、如何解析网页并提取数据等。我们可以通过编写Spider类来自定义爬取逻辑，指定要爬取的起始URL，设置页面解析规则，并在数据提取完成后执行相应的操作。Spider还可以通过yield关键字实现异步操作，从而提高爬取的效率。

3. Pipeline（管道）： Pipeline组件用于处理和清洗Item数据，并进行后续的持久化存储或其他操作。当Spider获取到Item后，Item会被依次交给Pipeline进行处理。可以有多个Pipeline组件按照优先级顺序处理Item，每个Pipeline组件可以对数据进行处理、过滤、校验等操作，也可以将数据存储到数据库、写入文件或发送到消息队列中。开发者可以自定义Pipeline组件来实现特定的数据处理和存储需求。

4. Middleware（中间件）： Middleware是Scrapy框架中的一个拦截器，用于对请求和响应进行预处理和后处理。它位于Spider和Downloader之间，可以对请求进行修改、重定向、过滤等操作，也可以对响应进行处理、修改、添加额外信息等操作。通过编写自定义的Middleware，我们可以在爬取过程中加入各种功能，如代理设置、用户登录验证、错误处理等。

综上所述，Scrapy框架提供了Item、Spider、Pipeline等关键组件来简化和加速爬虫程序的开发。Item用于定义要提取的字段，Spider用于定义爬取规则和流程，Pipeline用于处理和存储提取的数据。通过自定义这些组件，我们可以根据需求灵活地开发和定制高效的网络爬虫。