赞
踩
这里的域名和起始url需要注释,class类的父类要改为RedisCrawlSpider,添加一个新属性:redis_key = 'sun' 可以被共享的调度器队列的名称
返回的item是我们的房产名字和价格
增加请求头,机器人协议改为false,返回错误日志
接着增加redis相关配置,指定管道,调度器,本机的端口号等
-修改其中redis.windows.conf的项目信息
-将bind 127.0.0.1进行删除
- 关闭保护模式:protected-mode yes改为no
在系统变量中path加入下载的redis路径
之后打开cmd命令,输入redis-server启动redis,新建一个cmd命令输入redis-cli进入客户端
在python终端输入 scrapy runspider xxx(爬虫文件名称).py
在redis里
- 向调度器的队列中放入一个起始的url:
- 调度器的队列在redis的客户端中
- lpush xxx(之前的redis_key) www.xxx.com(起始url)
查看目录:
发现items信息已经存储到我们本地中,
查看我们的长度,已经获取548条信息
查看信息:
只截取一部分(太多了),里面的name为乱码要设置utf-8,价格正常。
这是在一台电脑上运行的项目,如果在多台电脑上运行,只需要将python的项目文件发给其余电脑运行,只需要一台电脑输入- lpush xxx(之前的redis_key) www.xxx.com(起始url) ,最终全部数据会保存在一台电脑上即可,时间会缩短,运行效率会有很大提高。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。