Scrapy 的详细安装过程（有所需软件的下载链接Microsoft visual c++14.0 pywin32）_scrapy软件菜鸟级详细安装和使用教程

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架结构，可以应用在数据挖掘，信息处理或存储历史数据的一系列程序中。Scrapy最初是为了页面抓取所设计的，也可应用在回去API所返回的数据或者通用的网络爬虫。

由于Scrapy目前不支持Python3的内容，所以我们需要下载Python2.7来使用Scrapy。安装了Python3的朋友们不用担心，Python2.7可以和Python3共存。以下是安装Scrapy的步骤。

1、安装Python2.7

• Python2.7百度云网盘资源链接：https://pan.baidu.com/s/1VGxrjtDFGwHI_Bi96IdCZQ 密码：1k04

• 或者直接从官网下载，官网地址：https://www.python.org/downloads/release/python-279/，如下图所示：
  
  倒数第二个的Windows x86-64 MSI installer是32位和64位兼用的，点击下载。
  在这里强调一下，我在安装过程中的选择的安装位置是E:/Python27，这个位置与之后的安装有关。
  安装过程中没有太大问题。

• 设置环境变量。在cmd里输入（如果你安装在C盘请把E改成C）：
  E:\Python27\python.exe E:\Python27\tools\Scripts\win_add2path.py

• 重新打开cmd，输入E:\Python27\python.exe –version，显示Python2.7.9，即python版本，即成功。如下图：
  

2、安装pywin32

• 此处分享作者的百度云网盘链接，第一个文件为32位，第二个文件为64位： 链接：https://pan.baidu.com/s/1xc390J_Vlqjp0tJ3T_YVZg 密码：iknm
  下载后安装即可，过程无难度。

3、安装使用pip

• 虽然在其它教程里有说具体安装pip的事项，但实际在安装python2.7的过程中，pip
  已经安装好了，打开E盘->Python27->Scripts,出现如下图所示：

• 重启cmd，输入pip –version，出现pip的版本号，说明pip已经安装成功。
  

4、使用pip安装lxml

• 在cmd里输入：pip install lxml，等待，即可完成安装。

  

5、使用pip安装pyOpenSSL

• 在cmd里输入：pip install pyOpenSLL，即可完成安装
  

6、使用pip安装win32api

• 在cmd里输入:pip install pypiwin32，即可完成安装；
  

7、使用pip安装Scrapy

• 在cmd里输入： pip install Scrapy，如下图所示：
  
  我们会发现最后安装失败，系统提示我们缺少Microsoft Visual C++ 14.0的插件，我尝试去官网搜索过，但是还是很乱。此时附上作者百度云链接，里面有Microsoft Visual C++ Build Tools
  百度云链接：https://pan.baidu.com/s/1Hz6ievIPpSYdpuLRYl2Bcw 密码：11am
  下载安装成功后，重新打开cmd重复安装Scrapy的步骤，结果如下：
  
  结果显示成功。
• 最后检查：
  
  至此scrapy安装成功。