Scrapy中selenium的应用-----并通过京东图书书籍信息爬取项目进行实操！_使用selenuim爬取京东书籍信息

引言------
在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载（ajax）的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值。

1.案例分析：

需求：爬取京东图书中的所有书籍信息。  （URL为https://book.jd.com/booksort.html）

需求分析：当我们进去该网站时，会发现当前页面展示的书籍分类信息是被动态加载出来的，如果直接通过程序对url进行请求，是获取不到动态加载出来的书籍分类信息的。但是我们发现：如果我们通过selenium进行访问就可以得到所有信息！所以咱们使用selenium实例化一个浏览器对象，在该对象中进行url的请求，获取动态加载的数据。
1
2
3

2.selenium在scrapy中使用的原理分析：