当前位置:   article > 正文

读书笔记:《Python3网络爬虫开发实战》——第1章:开发环境配置_pthon3网络爬虫开发

pthon3网络爬虫开发

hello大家好,萌新一枚。
今天又是元气满满的一天呢,啊哈哈哈哈哈~
既然这样,就把崔庆才大佬编著的《Python3网络爬虫开发实战》,撸个读书笔记吧。
因为,做笔记,留痕迹,补差距,这个效果蛮不错的,随时可以过来翻看,而且发布到网络上,不会感觉过于无聊和孤(空)独(虚)。
好了,读书笔记,我先撸为敬。

第1章:开发环境配置


需要配置的环境如下:

Python3
请求库
  • requests
  • urllib
  • Selenium
  • ChromeDriver
  • GeckoDriver
  • PhantomJs
  • aiohttp
解析库
  • lxml
  • Beautiful Soup
  • pyquery
  • tesserocr
数据库及存储库
  • MySQL
  • MongoDB
  • Redis
  • PyMongo
  • redis-py
  • RedisDump

十分不建议在windows中安装数据库,各种问题搞不定啊,按下葫芦起了瓢的赶脚分分钟爆炸
如果想要安装的话,建议安装在Linux虚拟机中,方便省事安全可靠,就是这么地道~
而且有错误了,随时可以干掉虚拟机,让宇宙重新启动

Web库
  • Flask
  • Tornado
App爬取相关库
  • Clarles
  • mitmproxy
  • Appium
爬虫框架
  • pyspider
  • Scrapy
  • Scrapy-Splash
  • Scrapy-Redis
部署相关库
  • Docker
  • Scrapyd
  • Scrapyd-Client
  • Scrapyd API
  • Scrapyrt
  • Gerapy

第1章终结

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/blog/article/detail/43094
推荐阅读
相关标签
  

闽ICP备14008679号