Windows环境下安装scrapy_windows安装scrapy

scrapy是Python开发的一个爬虫框架，很多情况下都是基于Linux系统安装，本篇将介绍windows环境下安装scrapy框架，亲测有效。

1.安装依赖

直接pip install scrapy会报错，原因是与scrapy相关的一些依赖包没有安装，而且依赖包的版本和操作系统不一致也会导致安装报错。常见的错误是Twisted和pywin32这两个模块安装失败。因此需要手动安装上述两个模块，下面将介绍安装的具体步骤。
cmd打开命令窗口，输入命令python -m pip install --upgrade pip更新pip版本为最新版本。

1. 安装wheel模块
   命令行输入pip install wheel，等待安装完成
2. 安装lxml模块
   命令行输入pip install lxml，等待安装完成
3. 安装Twisted模块
   Twisted模块和下方的pywin32模块手动安装，需要下载和Python版本、操作系统位数一致的wheel文件，否则手动安装也会失败，这里分享一个网址：
   https://www.lfd.uci.edu/~gohlke/pythonlibs/
   网页进去Ctrl+ F查找自己的模块，根据自己的Python和系统位数下载对应的版本即可，这里我的Python版本是3.7，系统位数为64，若跟我使用的环境一样，则省略下载步骤。模块链接：
   链接：https://pan.baidu.com/s/1XDdDWuqoUJghvV1Lndg5nA
   提取码：jms4
   链接内容如下图：
   
   cp37表示3.7版本，amd64表示64位。
   下载到本地后，进入到下载文件所在的目录，如我的在桌面下的安装依赖文件夹下，在地址栏输入cmd，回车打开命令行窗口。
   
   输入命令pip install Twisted-19.2.1-cp37-cp37m-win_amd64.whl，回车等待安装完成。上述文件名太长，手动输入耗时长，容易打错，因此输入前几个字母，按tab键则会自动补全。
4. 安装pywin32模块
   方法和Twisted一样。

2.安装scrapy

所有依赖安装完成且没有任何报错的情况下，pip install scrapy安装scrapy就不会报错。