当当商品信息爬虫（基于Scrapy框架）_使用scrapy框架爬取当当网品简介

1，首先，基于cmd创建爬虫项目，命令为：scrapy startproject dangdang

2，创建一个以基础爬虫为模板的爬虫文件，命令为：scrapy genspider -t dd dangdang.com

如下图所示，再spiders中生成了dd.py文件！

3，我们爬取的信息有，商品标题，商品出售店铺，商品链接，商品评论数，商品价格

如下所示：

 

 

4，在配置文件settings中创建要爬取的数据定义，如下示：

5，在爬虫文件dd.py中基于Xpath爬取网站信息，并且实现多页爬取，如下图所示：

6.由于可能会出现爬虫失败，以及我们需要将获取的数据进行相关处理，因此我们在settings.py文件处，要修改两处：

7，最后，我们在Pipelines.py文件中编写相应的数据库链接函数，以及数据库存储操作将数据存入本地数据库中：

8，至此，整个框架编写完毕，我们先创建相应的SQL表用于储存数据

9，最后，我们在CMD中执行scrapy crawl dd --nolog命令，可以在数据库中获得相关商品信息了~大功告成！