当前位置:   article > 正文

使用Scrapy爬虫框架爬取一个页面_pycharm scrapy抓取网页内容

pycharm scrapy抓取网页内容

参考资料:Python网络爬虫与信息提取(北京理工大学慕课)


这个就是我们准备爬取的页面

在这里插入图片描述

使用Scrapy库,首先需要产生一个Scrapy爬虫框架,它分为如下一些步骤:

1.建立一个Scrapy爬虫工程

首先我们打开Pycharm,新建一个Project,这里我新建了一个叫demo的Project:
在这里插入图片描述
然后我们打开Pycharm的终端,输入scrapy startproject python123demo
在这里插入图片描述
这样,我们就建立了一个Scrapy爬虫工程:


那么生成的这些东西是什么呢?

部署的概念是指:将建的爬虫放在特定的服务器上,并且在服务器配置好相关的操作接口。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/在线问答5/article/detail/887453?site
推荐阅读
相关标签
  

闽ICP备14008679号