一篇文章教会你用Python爬取淘宝海量信息，把淘宝商品整理成一个表格_爬虫爬取淘宝商品数据

[

最近看了爬虫又新做了个小作品，来瞅瞅吧~~~

正文开始

因为最近想买ipad，所以想要尝试一下吧 淘宝 上所有ipad商品做一个统计，把所有ipad商品的信息集合到一个excel里，那么使用爬虫这个程序也是可以实现的。

首先我们使用Chrome浏览器打开淘宝，输入心心念念的ipad，搜索后能一整页的商品，然后我们按F12进入开发者模式

然后我们可以看见源码里有那一排的item，其实每一个item都对应着一个商品。

既然源码可以是直接得到的（这么说是因为有的网页源码并不能直接看到），那么我们就可以直接用自动化测试工具selenium去自动化得获得网页代码

简单介绍一下这个工具，举个栗子，点击一下python程序的运行按钮，电脑就直接打开浏览器，然后打开到淘宝页面进行搜索。（当然前提是我们已经在代码上设计好这个流程），而这个流程只需要我们给程序一个网址链接。

通过尝试了解到在淘宝的链接就是"https://s.taobao.com/search?q=(后面再跟上要搜索的商品名)"，那么selenium就可以自动打开那个网页，其实这种常见的话就是那些所谓的秒杀软件，电脑可以自动输入账号密码，如果计算机会说话：

然后selenium在打开网页的同时也可以获取网页的源代码，也可以去点击下一页。那么这样的话我们定位到那个下一页按钮，让这个selenium去点一下，就可以获取全部的商品源代码啦

最后我们通过pyquery解析库把有用的信息从源码里面提取出来，然后再制作成一个EXCEL可以啦~

最后的成品大概就是这样的啦~

我们可以对其中的数据进行分析就好啦

Last

最后这个把这个程序改进了一下，增加了一些功能~

最后可以收集任何商品的信息成为一个EXCEL啦！

关于Python的技术储备

在这里给大家分享一些免费的课程供大家学习，下面是课程里面的截图，扫描最下方的二维码就能全部领取，如果图片失效点击蓝色字体便可跳转哦~
​

1.Python所有方向的学习路线

2.学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

3.学习资料

4.实战资料

实践是检验真理的唯一标准。这里的压缩包可以让你再闲暇之余帮你提升你的个人能力。

5.视频课程

好啦今天的分享就到这里结束了，快乐的时光总是短暂呢，想学习更多课程的小伙伴不要着急，有更多惊喜哦~
​