Linux网络编程（协议解析）_使用编程语言对通信协议解析

协议解析

• 协议基础

自定制协议：程序员自己定制的协议

应用层协议：如何将多个数据对象组织成为一个二进制数据串进行传输

需要考虑传输性能和解析性能，解析性能高的不一定传输性能高

比如：struct {int num1，int num2，char op}  解析方便  但由于占用内存大导致传输性能较低

• 序列化

序列化：将多个数据对象按照指定协议进行组织实现持久化存储或者网络通信传输的二进制数据串的过程

反序列化：按照指定协议将二进制数据串解析得到各个数据对象的过程

典型序列化方式：结构体序列化，json序列化，protobuf序列化

• HTTP协议

http协议：超文本传输协议，明文字符串传输协议

https协议：加密之后的http协议，安全性更高

http协议在传输层基于tcp协议实现，是一个简单的请求-响应协议

http协议格式（也称为：http协议数据结构）

• 首行：请求行  响应行（对于请求和响应的简单关键描述）

请求行：请求方法   URL   协议版本\r\n

（1）请求方法：

1. GET：向服务器获取实体资源，也可以提交数据但由于提交过程中没有正文所以提交数据没有在正文而在URL中   注意：（1）get提交数据在url中，不安全    （2）url长度有限制导致提交数据有限制
2. HEAD:向服务器仅获取响应头部，不要正文实体  与get区别： 响应没有正文，与get相同：请求都没有正文
3. POST:向服务器提交数据，提交有正文，提交数据放在正文中

4. 1	PUT	从客户端向服务器传送的数据取代指定的文档的内容。修改资源
   2	DELETE	请求服务器删除指定的页面。删除资源
   3	CONNECT	HTTP/1.1 协议中预留给能够将连接改为管道方式的代理服务器。
   4	OPTIONS	允许客户端查看服务器的性能。
   5	TRACE	回显服务器收到的请求，主要用于测试或诊断。
   6	PATCH	是对 PUT 方法的补充，用来对已知资源进行局部更新 。

（2）URL：（网址）统一资源定位符，用于定位网络中某个主机上的资源 

组成：协议名称://用户名：密码@域名：端口/资源路径？查询字符串数据#片段标识符

• http服务默认使用80端口    https服务默认使用443端口
• 查询字符串：提交给服务器的数据，由一个个key=value键值对组成，键值对之间以&符号间隔
• urlencode：编码   目的：用户请求的资源路径或查询字符串中存在特殊字符，可能与url特殊字符冲突

编码方法：将特殊字符每个字节（8bit）转换为16进制数字字符，并前缀%     eg: '+'  %2B

• urldecode：解码

解码方法：遇到%，则认为紧随其后的两个字符进行解码，将两个字符转换为数字（16进制转10进制）

片段标识符：定位网页位置

（3）协议版本

0.9：最早期版本，只支持GET方法，支持超文本数据传输，没有规范http协议格式

1.0：规范了http协议格式，新增支持GET,HEAD,POST请求方法。支持各种多媒体资源传输，简单缓冲控制

1.1：支持更多请求方法，对1.0进行性能提升，支持长连接（connection：keep-alive）

2.0：重新定义http协议       1，二进制数据传输   2，支持主动推送资源   3，服务器长连接响应，不需要按序进行，解决队头阻塞问题

响应行：协议版本   响应状态码   状态码描述

响应状态码：直观向客户端反映处理结果

• 头部：对于请求或响应或正文的一些关键描述（由一个个key：value键值对组成，每个键值对以\r\n结尾）

典型头部字段：

 cookie：

cookie是一个维护http通信状态的技术，但存在安全隐患

解决方法：session

cookie和session区别：

cookie是维护http通信状态的技术，将关键信息保存在客户端，每次请求服务器时，读取出来发送给服务端，此过程中将关键信息保存在cookie字段中进行传输

session是解决cookie安全隐患，将关键信息保存在服务端，通过创建会话后，而只将session-id返回给客户端，客户端作为cookie字段保存，再次请求过程中只是将session-id信息保存在cookie字段中进行传输，而非直接传输用户信息，安全性相比较于cookie提高

• 空行：\r\n  间隔头部与正文

• 正文：客户端提交给服务端，或者服务端响应给客户端的数据

简单的http服务器的搭建:

1.搭建tcp服务端
⒉获取新建连接
3.使用新建连接，等待接收数据(http协议的请求数据)
4.接收过程:先接收http头部，解析头部-Content-Length确定正文长度5.接收指定长度的正文
6.根据请求方法以及资源路径确定客户端的请求目的7.进行具体对应的业务处理
8.组织http协议格式的响应数据，对客户端进行回复
9.如果是短连接，则直接关闭套接字，如果是长连接，则继续等待接收数据

代码如下：

运行结果如下：

抓包结果如下：

• HTTPS协议 

基于http协议进行加密

https协议就是基于ssl进行加密实现加密传输

目的：实现数据的安全传输

安全传输：（1）身份验证问题 ，防止伪装   （2）数据加密问题，防止监听

• 身份验证实现： 

CA认证：通信双方在通信前先到权威机构请求给自己颁发CA证书

通信双发建立连接后，通信之前先将证书发送给对方，收到对方证书后，查看权威机构是否是自己信任的，如果信任，则到权威机构进行身份验证，验证通过后进行通信，不通过可以自行选择是否添加信任

•  数据加密实现：

1，对称加密：加解密使用相同秘钥，加解密效率高，但秘钥被劫持加密形同虚设导致安全性低

2，非对称加密：加密解密使用不同秘钥，安全度高，加解密效率低

                      通信前，每一端可以生成一对秘钥（公钥，私钥），将公钥发送给对方，对方使用公钥进行加密，自己收到数据后，通过私钥解密（RSA加密算法）

,3，混合加密：通信双方在通信前使用非对称加密  保护对称秘钥协商过程，对称秘钥协商完毕后，使用对称秘钥加密传输

• SSL加密实现：

1，服务器先生成一对秘钥即公私钥到权威机构使用公钥请求颁发一个证书

2，通信双方建立连接后，数据传输前，服务器将证书发送给客户端

3，客户端对证书进行解析，根据信息进行身份验证

4，身份验证通过后，使用公私钥加密（一个随机数+自己支持的对称加密算表）发送给服务器

5，服务器收到公钥加密数据使用私钥进行解密，并且给客户端回复一个随机数+自己支持的对称加密算表

6，双发通过自己的随机数和对方发送过来的随机数配合对称加密算表进行计算得到一个对称秘钥

7，后续通信都通过对称秘钥来加密数据通信