爬虫....._阿贾克斯请求sug

HTTP请求

GET

最常见的一种请求方式，当客户端要从服务器中读取文档

POST

用于提交数据， 当采用 POST 方式向指定位置提交数据时，数据被包含在请求体中，服务器接收到这些数据后可能会建立新的资源、也可能会更新已有的资源。

HTTP 的 八大请求方式_http请求方式_roseLin...的博客-CSDN博客

HTTP请求的几种类型_http类型_菜瓜_牛顿的博客-CSDN博客

 请求格式

请求行：

 

 请求头：

Host+路径组成一个完整的网址

User-Agent用来告知服务器，客户端的信息

 Accept是告诉服务器想接收什么数据

 请求体：

告诉其他信息，一般在POST里面，GET里一般是空的

篡改请求头

由代码发出的请求的 User-Agent被标注为

有些网站只服务于真人，因此可以加上headers参数，伪装真实用户

head = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
}
result = re.get('https://www.bilibili.com/', headers=head)

*如何找到本机真实User-Agent？

浏览器内F12 - NetWork - 选择一项拉到底 

 响应格式

状态行

版本 状态码 状态消息 

HTTP状态码汇总（常见）_IT萌萌熊的博客-CSDN博客

响应头

响应体

if 响应类型 is HTML:

爬取豆瓣Top250

先成功访问再说

import requests as re
 
head = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
}
result = re.get('https://movie.douban.com/top250', headers=head)
 
if result.ok:
    print(result.text)  # success

 学亿点HTML基础