python网络爬虫开发从入门到精通下载_Python网络爬虫开发从入门到精通

章 python基础有句话说得好，“工欲善其事，必先利其器”，由于本书中所涉及的示例代码均以python作为主要开发语言，因此在学网络爬虫开发之前，需要对python的基本使用方有个大致的了解。同时，本书致力于帮助读者从零基础入门，本章将会对python的基础语和使用方做一个大致的讲解，但不会面面俱到，只需要读者了解基础语的使用方即可。如果读者已有的python基础，可跳过本章的学，从第2章开始深入探究python。本章主要涉及的知识点python环境的搭建python开发ide pycharm的基本使用方数据类型和变量字符串编码列表和元组流程控制语句if和循环字典和集合的使用方函数面向对象多线程1.1 python环境搭建python(英国发音：/？pa？θ？n/；美国发音：/？pa？θɑ？n/)是一种面向对象的解释型计算机程序设计语言，由荷兰人guido van rossum于1989年发明，个公开发行版发行于1991年。python是纯粹的自由软件，源代码和解释器cpython遵循gpl(gnu general public license)协议。python语简洁清晰，特之一是强制用空白符作为语句缩。python具有丰富和强大的库，常被称为胶水语言，能够把用其他语言制作的各种模块(尤其是c/c++)很轻松地联结在一起。常见的一种应用情形是，使用python快速生成程序的原型(有时甚至是程序的很终界面)，然后对其中有特别要求的部分用更合适的语言改写，如3d游戏中的图形渲染模块，性能要求特别高，可以用c/c++重写，而后封装为python可以调用的扩展类库。需要注意的是，在使用扩展类库时需要考虑台问题，某些台可能不提供跨台的功能。由于python具有语简洁及拥有很好全面的第三方类库支持等优势，因此其很好适合用于爬虫程序的编写。python目前分为两大版本，一个是python 2.x版本，另一个是python 3.x版本。这两个版本差距比较大，目前期新版本为python 3.7.x。需要注意的是，本书中所涉及的代码均以python 3.6.4为主。接下来，本节将会讲解如何在常用作系统下搭建python 3开发环境，行python基础知识的学和代码编写。1.1.1 windows系统下的python环境安装与配置python是跨台的语言，支持在各种不同的系统中运行，下面先来讲解我们很熟悉的windows系统下的python环境安装与测试。1. 下载python安装包根据windows版本(64位/32位)从python官网下载对应的版本安装包，python官网下载地址为s.python.org。本书以windows 10系统为例，相关的作步骤如下。步骤a：下载安装包，打开s.python.org，入python官网页，鼠标指针移动到【downloads】选项，可以看到python的期新版本为python 3.7.2，如图1-1所示。步骤b：由于我们使用的是windows系统，因此需要下载windows版本的python，在上一步骤的基础上，鼠标指针移动到【windows】选项并单击，之后将入版本选择的界面，如图1-2所示。步骤c：入版本选择的界面后，选择需要的版本行下载。由于本书中所使用的是python 3.6.4，因此需要找到3.6.4版本的python安装包并下载，如图1-3所示。图1-1？python官网页图1-2？版本选择页面图1-3？选择对应的版本 2. 安装python下载完后，双击【python-3.6.4-amd64.exe】运行安装程序，入安装引导界面，如图1-4所示。图1-4？python安装引导界面接下来，可以开始安装了，相关的安装步骤如下。步骤a：选中【add python 3.6 to path】复选框后单击【customize installation】选项，会弹出一个可选特性界面，在该界面中可行选项设置，如图1-5所示。这一步作的作用是把python加入系统的path环境变量中，如果不选中，需要手动去配置环境变量。图1-5？可选特性界面步骤b：在弹出的可选特性界面中选中所有的复选框，各选项的含义如下。(1)documentation：安装python的帮助文档。(2)pip：安装python的第三方包管理工具。(3)tcl/tk and idle：安装python自带的集成开发环境。(4)python test suite：安装python的标准测试套件。(5)py launcher 和 for all users (requires elevation)：允许所有用户更新版本。选中之后单击【next】按钮入下一步骤。步骤c：通过步骤2之后，入advanced options(不错选项)配置界面，保持默认的设置，然后单击【browse】按钮选择安装路径，如图1-6所示。图1-6？不错选项配置界面步骤d：单击【install】按钮行安装，安装过程会持续一段时间。安装完成后，在控制台打开cmd命令行窗，输入“python”，检查是否安装成功。如果安装成功，将会出现类似以下信息的内容，从中可以看到关于所安装的python版本等信息。c:\users\lyl>pythonpython 3.6.4 (v3.6.4:69c0db5, mar 21 2017, 18:41:36) [msc v.1900 64 bit (amd64)] on win32type "help","copyright","credits" or "license" for more information.>>>1.1.2 linux系统下的python环境安装linux系统下的python环境安装，一般常用的有两种方式：命令安装和源码安装。linux系统默认装有python 2.7版本，但是由于我们需要使用3.x版本的python，因此需要自己安装。使用源码安装python需要自己编译，而且时间比较长。在这里使用命令安装，这样既简单又快速，可以省去很多步骤。由于linux系统有众多版本，这里选择性地以ubuntu/debian/deepin为例。下面将分别介绍命令安装和源码安装。1. 命令安装使用命令在ubuntu下安装python的相关步骤如下。步骤a：在使用命令安装之前，需要先打开linux命令行。由于本书所使用的是一台云服务器上的ubuntu，因此需要使用xshell工具去连接，连接后，默认是一个命令行界面，如图1-7所示。如果用户是在自己的虚拟机上安装的ubuntu，则可以按【ctrl+alt+t】组合键直接打开命令行。图1-7？linux命令行界面步骤b：打开命令行之后，切换到root用户，直接输入命令“sudo su”即可切换，如图1-8所示，如果默认是使用root用户登录的，则可以省略此步骤。图1-8？切换root用户步骤c：接下来输入命令：apt-get update 在apt-get update 执行完成之后，输入下面的命令，安装python 3所需要的一些依赖环境。apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev libcurl4-openssl-dev 此命令成功执行完毕后将会出现如图1-9所示的内容。图1-9？安装python 3所需的依赖环境步骤d：紧接着继续输入命令：apt-get install -y python3等待安装。安装过程会持续一段时间，执行完命令后，python 3安装完成了。很后还要测试一下是否安装成功，直接输入“python3”，如图1-10所示，如果安装成功将会看到相关的版本信息。图1-10？测试是否安装成功步骤e：继续安装pip3。pip是一个现代的、通用的python包管理工具，提供了对python包的查找、下载、安装、卸载的功能。这里还是使用命令安装，输入命令：sudo apt-get install -y python3-pip执行完命令后，测试一下pip是否安装成功，输入命令“pip3 list”，如果出现类似如图1-11所示的内容，则代表安装成功。图1-11？测试pip是否安装成功