爬虫-HTTP、HTTPS

作者：从前慢现在也慢 | 2024-03-02 02:00:13

踩

爬虫-HTTP、HTTPS

1.http和https

在发送请求，获取响应的过程中就是发送http或https的请求，获取http或https的响应

2 http和https的概念

HTTP
- 超文本传输协议
- 默认端口号:80
HTTPS
- HTTP + SSL(安全套接字层)，即带有安全套接字层的超本文传输协议
- 默认端口号：443

HTTPS比HTTP更安全，但是性能更低

HTTP：是互联网上应用最为广泛的一种网络协议，所有的www文件都必须遵守这个规则。

HTTP是一个客户端和服务端请求和应答的标准。客户端是终端用户，服务器是网站，通过使用web浏览器、网络爬虫或者其他工具，客户端发起一个到服务器上指定端口(默认端口为80)的HTTP请求。在应答的服务器上存储着一些资源(HTML文件和图像)，服务器收到请求后返回一个状态行( HTTP/1.1 200 OK)和响应信息(消息体可能是请求的文件错误信息或者一些其他信息)。HTTP使用TCP而不是UDP的原因在于打开一个网页必须传送很多数据，而TCP协议提供传输控制，按顺序组织数据和错误纠正。

3 浏览器发送HTTP请求的过程

http请求过程：

1.浏览器先向地址栏中的url发起请求，并获取响应

2.在返回的响应内容（html）中，会带有css、js、图片等url地址，以及ajax代码，浏览器按照响应内容中的顺序依次发送其他请求，并获取相应的响应

3.浏览器每获取一个响应就对应战术的结果进行添加（加载），js，css等内容会修改页面的内容，js也可以重新发送请求，获取响应

4.从获取第一个响应并在浏览器中展示，直到最终获取全部响应，并在展示的结果中添加内容或修改这个过程叫做浏览器的渲染

注意：

怕长只会请求url地址，对应的拿到url地址对应的响应（该响应的内容可以是html，css，js，图片等），浏览器渲染出的

4 HTTP请求的形式

5 HTTP常见请求头

1.Host（主机和端口号）

2.Connection（链接类型）

Keep-Alive功能使客户端到服务器端的连接持续有效，当出现对服务器的后继请求时，Keep-Alive功能避免了建立或者重新建立连接。

3.Upgrade-lnsecure-Requests（升级为HTTPS请求）

4.User-Agent（浏览器名称）

5.Accept（传输文件类型）

6.Refer（页面跳转处）

7.Acccept（传输文件类型）

8.Cookie（Cookie）

9.x-requested-with :XMLHttpRequest（表示该请求是Ajax异步请求）

6 HTTP重要的响应头

Set-Cookie （对方服务器设置cookie到用户浏览器的缓存）

7 响应状态码(status code)

常见的状态码：

200：成功
302：临时转移至新的url
307：临时转移至新的url
404：找不到该页面
500：服务器内部错误
503：服务不可用，一般是被反爬

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/178396?site