「猿区」ZSTD 压缩算法_zstd压缩算法

ZSTD算法原理：

Zstandard (zstd) 是一种快速的无损数据压缩算法，其实现逻辑大致如下：

字典的构建：zstd 在压缩前会建立一个字典，用于存储之前的数据块。这个字典可以是静态的（预先构建好的）或者动态的（通过动态建模构建），并且可以根据压缩的数据类型进行自适应调整。
分析数据：zstd 会对输入的数据进行分析，寻找其中的重复模式，并将其替换为一些较短的指针，指向之前已经压缩过的重复数据。
构建 Huffman 树：zstd 使用了一种叫做 FSE (Finite State Entropy) 的算法，对压缩后的数据进行编码。这种算法通过构建 Huffman 树来实现，使得高频词的编码长度短，低频词的编码长度长，从而达到更高的压缩率。
压缩：根据分析和编码结果，zstd 将原始数据压缩成一段连续的二进制数据。zstd 可以使用多种压缩级别，不同级别对应不同的压缩速度和压缩比。
解压：压缩后的数据可以通过相同的算法进行解压。解压的过程中需要使用之前压缩时建立的字典和 Huffman 树等数据结构。

总之，zstd 的实现逻辑是通过学习分析数据的重复模式，使用 FSE 算法和 Huffman 树对压缩后的数据进行编码，从而达到高压缩比和快速解压的目的。

zstdz字典数据存储结构:

在二进制格式中，zstd 压缩后的数据可以分为两个部分：

头部信息：用于描述压缩数据的元信息，包括压缩级别、字典 ID、压缩标志位等信息。头部信息一般包含在压缩数据的前几个字节中，有固定的格式。
压缩数据：实际的压缩数据部分，可以使用任何字节流进行存储。

在解压缩时，解压缩程序需要先读取头部信息，根据头部信息中的元数据进行相应的解压操作，然后读取压缩数据部分，使用相同的算法进行解压缩，还原为原始数据。