python爬虫专题1:准备工作_爬虫准备工作

放假前入的坑,现在开始填坑,我也是小白,有错误或者可改进的地方,希望大佬可以指正
我尽量按照我觉得最简单的循序介绍爬虫;这篇文章是在吃鸡匹配的空闲时间写完的,下一篇文章写HTML的,是的,为了学爬虫,我把HTML也学了学

安装requests库

requests和urllib我选择了requests,因为网上和书上都在说requests更简单一点
安装教程看我的
上篇文章去

使用requests发送请求

导入request模块

import requests
1

获取一个网站试水 百度吧

r=requests.get('https://www.baidu.com/')
1

URL传递参数

比如说百度搜索郭翰林,对于wd参数(搜索词)和m参数(搜索结果数量)可以人工拼接组成URL;requests可以更好的解决

import requests
if __name__ == '__main__':
    payload={'wd':'温文儒雅郭翰林','rn':'100'}
    r=requests.get("https://www.baidu.com/",params=payload)
    print(r.url)

1
2
3
4
5
6

wd=%E6%B8%A9%E6%96%87%E5%84%92%E9%9B%85%E9%83%AD%E7%BF%B0%E6%9E%97&rn=100巴拉巴拉这些乱码就是温文儒雅郭翰林
params也可以

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36',
}

params = {
	'myMessage': 'message'
}

url = 'https://www.httpbin.org/get'
response = requests.get(url, headers=headers, params=params)
print(response.text)
print(response.url)

1
2
3
4
5
6
7
8
9
10
11
12
13

获取效应内容

import requests
if __name__ == '__main__':
    r=requests.get('https://www.baidu.com/')
    r.text
    print(r.text)
1
2
3
4
5

查看网页的编码

import requests
if __name__ == '__main__':
    r=requests.get('https://www.baidu.com/')
    r.encoding
    print(r.encoding)
1
2
3
4
5

结果:ISO-8859-1
百度不应该是utf-8编码吗?来兴趣了,我换了几个网址
好像百度主页是ISO编码,问答那些是utf-8编码

r.text可以获取效应内容
还有r.content
1
2

我专门多看了几本书对于这个编码的解释,发现可以修改编码然后去获取网页内容
这样

r.encoding='utf-8'
1

网页状态码

import requests
if __name__ == '__main__':
    r=requests.get('https://www.baidu.com/s?wd=%E5%B7%B4%E6%8B%89%E5%B7%B4%E6%8B%89&rsv_spt=1&rsv_iqid=0x846540f100057404&issp=1&f=8&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_dl=ib&rsv_enter=1&rsv_sug3=6&rsv_sug1=4&rsv_sug7=100')
    r.status_code
    print(r.status_code)
1
2
3
4
5

结果200

 r=requests.get('https://www.baidu.com/khugershkhgegeiiv')
1

网站瞎打的当然是404了 嘿呀 404 某狗每次看到404就来问我要新域名

查看网站的headers请求头

heders是网站用来识别访问的最常用手段;header有很多,主要的也就是Host;User-Agent,Referer,Accept,Accept-Encoding,Connerction和Accept-Language
说多了,其实吧也就user-agent 和Referer重要一点,反爬虫一般就检查这两个，而且必须要加User-Agent(显示浏览器相关信息),他们是以键对的形式展现出来，如果user-agent 以字典键对形式作为headers的内容，就可以反爬成功，就不需要其他键对；否则，需要加入headers下的更多键对形式。
随便开个网站 fn加f12,或者是f12,还可以鼠标右键点击检查

打开network
找到 name下随意一行
Headers 下滑找到User-Agent

requests函数可以自定义请求头信息和urllib库作用差不多,但是更简单一点
随便说一下手机端和电脑端的网页显示不同了,手机端简洁,动态效果少,关键信息一个不少,便于爬取,我们就可以把UA改成Android系统; 废话,以后实战讲

写个headers

  r.headers
    {
        'user - agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 87.0.4280.141Safari / 537.36Edg / 87.0.664.75'
    }   
1
2
3
4

响应的头部内容

import requests
if __name__ == '__main__':
    r=requests.get('https://www.baidu.com/ ')
    r.headers
    {
        'user - agent': 'Mozilla / 5.0(Windows NT 10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 87.0.4280.141Safari / 537.36Edg / 87.0.664.75'
    }
    print(r.headers['content-type'])
1
2
3
4
5
6
7
8

结果是text/html; charset=iso-8859-1
随便在说一下header的参数

HTTP请求头（Header）参数简介

HTTP 协议的 Header 是一块数据区域，分为请求头和响应头两种类型，客户端向服务区发送请求时带的是请求头，而服务器响应客户端数据时带的是响应头。

请求头里主要是客户端的一些基础信息，UA（user-agent）就是其中的一部分，而响应头里是响应数据的一些信息，以及服务器要求客户端如何处理这些响应数据的指令。请求头里面的关键信息如下：

1. accept
   表示当前浏览器可以接受的文件类型，假设这里有 image/webp，表示当前浏览器可以支持 webp 格式的图片，那么当服务器给当前浏览器下发 webp 的图片时，可以更省流量。
2. accept-encoding
   表示当前浏览器可以接受的数据编码，如果服务器吐出的数据不是浏览器可接受的编码，就会产生乱码。
3. accept-language
   表示当前使用的浏览语言。
4. Cookie
   很多和用户相关的信息都存在 Cookie 里，用户在向服务器发送请求数据时会带上。例如，用户在一个网站上登录了一次之后，下次访问时就不用再登录了，就是因为登录成功的 token 放在了 Cookie 中，而且随着每次请求发送给服务器，服务器就知道当前用户已登录。
5. user-agent
   表示浏览器的版本信息。当服务器收到浏览器的这个请求后，会经过一系列处理，返回一个数据包给浏览器，而响应头里就会描述这个数据包的基本信息。

响应头里的关键信息有：

1. content-encoding
   表示返回内容的压缩编码类型，如“Content-Encoding :gzip”表示这次回包是以 gzip 格式压缩编码的，这种压缩格式可以减少流量的消耗。
2. content-length
   表示这次回包的数据大小，如果数据大小不匹配，要当作异常处理。
3. content-type
   表示数据的格式，它是一个 HTML 页面，同时页面的编码格式是 UTF-8，按照这些信息，可以正常地解析出内容。content-type 为不同的值时，浏览器会做不同的操作，如果 content-type 是 application/octet-stream，表示数据是一个二进制流，此时浏览器会走下载文件的逻辑，而不是打开一个页面。
4. set-cookie
   服务器通知浏览器设置一个 Cookie；通过 HTTP 的 Header，可以识别出用户的一些详细信息，方便做更定制化的需求，如果大家想探索自己发出的请求中头里面有些什么，可以这样做：打开 Chrome 浏览器并按“F12”键，唤起 Chrome 开发者工具，选择 network 这个 Tab，浏览器发出的每个请求的详情都会在这里显示。

设置超时时间

通过timeout属性设置超时;过了这个时间还没有获得效应内容,提示错误

import requests
if __name__ == '__main__':
    r=requests.get('https://www.baidu.com/' ,timeout=0.00001)
    print(r.text)
1
2
3
4

时间设置过短,必然报错

时间改的长一点就ok了

import requests
if __name__ == '__main__':
    r=requests.get('https://www.baidu.com/' ,timeout=0.1)
    print(r.text)
1
2
3
4

reteying库

timeout说完了,reteying怎么可能不提一下?
Scripts文件夹里面pip install retrying一下就可以使用了

这样就okk了
如果访问一个网站出现了报错，有可能是网络情况不好(比如说我宿舍的宽度总是坏,而且就我一个人的经常坏,差不多每天都会莫名其妙断连,严重影响我的游戏体验,而且1650运行赛博朋克的效果和1977一样,端游直接劝退)，这个时候我们应该是重新请求服务器，甚至是重新请求好几次。retrying库登场

import requests
from retrying import retry

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
#让函数反复执行4次，4次全部报错才会报错
@retry(stop_max_attempt_number=4)
def parse_url1(url):  
    print("*"*50)
    response = requests.get(url, headers=headers, timeout=5)
    return response.content.decode()

def parse_url(url):
    try:
        html_str = parse_url1(url)
    except:
        html_str = None
    return html_str


if __name__ == '__main__':
    print(parse_url('http://www.baidu.com'))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

这是执行一次的结果
换个瞎打的地址

四次返回结果错误

代理访问

采集时为避免封IP;可以使用代理,request的proxies就有用处了
查看IP地址
打开cmd然后ipconfig
http://www.goubanjia.com/ 免费的IP
高匿就是服务器不知道你用了代理,也不知道你的真实IP
匿名就是知道你用了`代理,不知道你的真实IP
透明就是服务器知道你代理还知道你的真实ip

import requests

# 更改ip
proxies = {
  "http": "http://220.181.111.37:80",   # http  型的
  "https": "http://10.10.1.10:1080"   # https 型的
            }

# 用百度检测ip代理是否成功

url = 'http://www.neea.edu.cn/'

# 请求网页传的参数

params = {

    'wd': 'ip地址'

}

# 请求头

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'

}

# 发送get请求

response = requests.get(url=url, headers=headers, params=params, proxies=proxies)

# 获取返回页面保存到本地，便于查看

with open('ip.html', 'w', encoding='utf-8') as f:
    f.write(response.text)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

找了好几个代理,都不行,但是我现在这个可以跑,可能是找的IP被封了,找不到可用的免费ip

import requests

# 更改ip
proxies = {
  "http": "121.233.227.138:9999",   # http  型的
  "https": "113.195.157.122:9999"   # https 型的
            }
# 用百度检测ip代理是否成功

url = 'https://www.baidu.com/s?wd=ip'

# 请求头

# 发送get请求
headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36 Edg/88.0.705.50'
}

response = requests.get(url=url, headers=headers)

# 获取返回页面保存到本地，便于查看

with open('ip1.html', 'w', encoding='utf-8') as fp:
    fp.write(response.text)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

打开ip1.html跳转的就可以看到我的真实IP了,代理失败,找到了有免费的IP滴滴我

结束了,准备开始实战