github上优秀的python项目_GitHub 上有哪些优秀的 Python 爬虫项目？

目录

python爬虫简析

github爬虫经典案例

之前总结了github上比较好的200个爬虫项目，有兴趣可以看看的朱卫军：干货！python爬虫100个入门项目​zhuanlan.zhihu.com朱卫军：干货！python爬虫100个入门项目 续​zhuanlan.zhihu.com

推荐两本看过的爬虫书，入门很合适

先介绍下爬虫的基本步骤，再给出github上比较经典得爬虫案例。

python爬虫简析

网络爬虫，其实叫作网络数据采集更容易理解。

就是通过编程向网络服务器请求数据(HTML表单)，然后解析HTML，提取出自己想要的数据。

归纳为四大步：根据url获取HTML数据

解析HTML，获取目标信息

存储数据

重复第一步

这会涉及到数据库、网络服务器、HTTP协议、HTML、数据科学、网络安全、图像处理等非常多的内容。但对于初学者而言，并不需要掌握这么多。

爬虫可以用很多语言来写，python是比较受欢迎的一种。

如果你不懂python，那么需要先学习python这门非常easy的语言(相对其它语言而言)。

刚开始入门爬虫，你甚至不需要去学习python的类、多线程、模块之类的略难内容。找一个面向初学者的教材或者网络教程，花个十几天功夫，就能对python基础有个三四分的认识了，这时候你可以玩玩爬虫喽！

PS：对于小白来说自学也不是件容易的事，需要花相当的时间去适应python的语法逻辑，而且要坚持亲手敲代码，不断练习。

如果对自己没有自信，也可以考虑看编程课程，跟着老师的节奏去学习，能比较快地掌握python语法体系，也能得到充分的案例练习。

github爬虫经典案例