scrapy mysql 不同的表,scrapy连接Mysql数据库,实现分表插入(超详细)

我们来看一下流程

目标:   全书网

地址:    http://www.quanshuwang.com

内容:   抓取网站所有小说分类,小说,章节,内容   分四张表分别存储

将封面下载到本地,将图片url替换成本地的

技术:

python    scrpay框架,    (为什么选这个,因为scrapy自带高并发,多线程,程序启动刹不住,必须强行关闭)

mysql   作为我们本次存储

接下来看看代码吧

spider

spider也就是你自己创建的app我这里是book项目名是books

import scrapy

from ..items import BooksItem, BooksClassifyItem, BooksChapterItem, BooksContentItem

class BookSpider(scrapy.Spider):

name = 'book'

allowed_domains = ['quanshuwang.com']

start_urls = ['http://www.quanshuwang.com']

def __init__(self):

self.count = 0

def parse(self, response):

item = BooksItem()

# 获取所有分类地址,目的所有分类下的所有小说

classify_list_title = response.xpath("//nav[@class='channel-nav']//li")[:11]

for classify in classify_list_title:

classify_title = classify.xpath("./a/text()").extract_first