后端基础:Http请求实现

还在前公司的时候， 公司同事问过我一个问题， 他是搞硬件的， 我是搞软件， 在他眼里我似乎应该对http整个传输协议应该是门清的， 没想到我这个门外汉没有经历过以前的黑暗森林年代， 在高度封装的时代我对具体的细节其实并不大清楚， 虽然知道整体流程脉络， 但是到了最终聊实现过程的时候， 怎么实现keep-alive的请求露怯了。所以问题就在心里扎下了根， 今天就有把这个问题翻出来倒腾倒腾。
HTTP（超文本传输协议）请求是客户端和服务器之间通信的一个关键部分。整个HTTP请求过程可以大致分为以下几个步骤：

1. 建立连接：
   • 客户端通过网络与服务器建立TCP连接。通常使用HTTP/1.1协议，默认使用80端口（HTTPS则使用443端口）。
2. 发送请求行：
   • 客户端向服务器发送一个HTTP请求，这个请求包括方法（GET、POST等）、URL（统一资源定位符，包括路径和查询字符串）、HTTP版本（如HTTP/1.1）。
3. 发送请求头：
   • 客户端发送一系列的请求头信息，这些信息包括客户端的一些信息和请求的属性，比如内容类型、接受类型、认证信息等。
4. 发送请求体：
   • 对于POST等请求方法，客户端会发送一个请求体，这个体中可以包含POST的数据。
5. 服务器处理请求：
   • 服务器接收到请求后，解析请求行、请求头和请求体，然后根据请求的URL来找到请求的资源。
   • 服务器可能需要进行一些处理，比如数据库查询，然后再生成响应。
6. 发送响应：
   • 服务器构造一个HTTP响应，包括状态行（状态码和HTTP版本）、响应头（如内容类型、内容长度等）和响应体（所请求的资源）。
7. 关闭连接：
   • 服务器发送完响应后，可以关闭TCP连接，或者保持连接用于连续的请求。
     在整个HTTP请求过程中，客户端和服务器之间的通信都是基于请求-响应模式的。客户端发送请求，服务器回复响应，通过这种方式完成数据传输。

要利用socket实现HTTP请求，你需要了解如何使用socket API来创建网络连接，发送请求，接收响应，然后解析这些响应。以下是一个简单的示例，展示了如何使用Python的socket库来实现一个HTTP GET请求。

import socket
# 创建一个socket对象
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 指定要连接的服务器地址和端口
server_address = ('www.example.com', 80)
# 连接到服务器
s.connect(server_address)
# 准备HTTP请求
request = 'GET / HTTP/1.1\r\nHost: {}\r\n\r\n'.format(server_address[0])
# 发送HTTP请求
s.send(request.encode('utf-8'))
# 接收服务器响应
response = b''
while True:
    data = s.recv(4096)
    if not data:
        break
    response += data
# 关闭连接
s.close()
# 打印响应
print(response.decode('utf-8'))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

这个脚本执行以下步骤：

1. 导入socket模块并创建一个socket对象。
2. 指定目标服务器的IP地址和端口。
3. 使用connect()方法建立与服务器的连接。
4. 构造一个HTTP GET请求字符串。
5. 使用send()方法发送请求。
6. 使用一个循环来接收服务器的响应数据。
7. 当没有数据可接收时，关闭socket连接。
8. 打印接收到的响应。
   请注意，这个示例使用了HTTP/1.1协议，并包括了基本的请求头。在实际应用中，你可能需要根据具体情况调整请求头的内容。
   此外，对于HTTPS请求，你需要创建一个安全的socket连接，可以使用ssl模块来加密连接。