赞
踩
zstd是Facebook在2016年开源的新无损压缩算法,优点是压缩率和压缩/解压缩性能都很突出。
压缩率 与 压缩速度,此图来源Zstd官网,为一些经典的压缩算法对比,
Compressor name | Ratio | Compression | Decompress. |
---|---|---|---|
zstd 1.5.6 -1 | 2.887 | 510 MB/s | 1580 MB/s |
https://www.zlib.net/ 1.2.11 -1 | 2.743 | 95 MB/s | 400 MB/s |
brotli 1.0.9 -0 | 2.702 | 395 MB/s | 430 MB/s |
zstd 1.5.6 --fast=1 | 2.437 | 545 MB/s | 1890 MB/s |
zstd 1.5.6 --fast=3 | 2.239 | 650 MB/s | 2000 MB/s |
quicklz 1.5.0 -1 | 2.238 | 525 MB/s | 750 MB/s |
lzo1x 2.10 -1 | 2.106 | 650 MB/s | 825 MB/s |
https://lz4.github.io/lz4/ 1.9.4 | 2.101 | 700 MB/s | 4000 MB/s |
lzf 3.6 -1 | 2.077 | 420 MB/s | 830 MB/s |
snappy 1.1.9 | 2.073 | 530 MB/s | 1660 MB/s |
根据对比,我们看到
# 安装
sudo apt-get install -y zstd
命令行使用示例:
将一个文件压缩到一个 .zst 后缀的压缩文件中:
zstd {{file}}
解压缩一个文件:
zstd -d {{file}}.zst
将文件解压缩到标准输出 (stdout):
zstd -dc {{file}}.zst
使用指定的压缩等级来压缩一个文件.0 = 最差,19 = 最好 (默认等级是 3):
zstd -{{level}} {{file}}
使用更多内存 (解压或压缩时) 来得到更高的压缩比:
zstd --ultra -{{level}} {{file}}
这里选取语言为Node.js,Node.js中有几个库可以用来处理Zstandard(zstd)压缩:
这些库都可以通过npm进行安装。你选择哪个库取决于你的具体需求,例如你是否需要纯JavaScript的实现,或者你是否需要在浏览器中使用Zstandard。
这里演示下zstd-wasm使用方式,zstd-wasm:
const { init, compress, decompress } = require("@bokuweb/zstd-wasm");
(async () => {
await init();
const compressed = compress(Buffer.from("Hello zstd!!"), 10);
console.log(compressed);
const res = decompress(compressed);
console.log(Buffer.from(res).toString()); // Hello zstd!!
})();
示例演示完后,再补充些个人对于压缩的思考。
搞过压缩的朋友,可能会有体会。越相似的内容,压缩效率越大,反之压缩效率低。
同样在Zstd中,如果在一组小的数据样本中存在某种相关性,它的压缩率就比较高,反之,数据相关性不大,无序混乱不相似,则压缩率则偏低,此时即使强如Zstd也是巧妇难为无米之炊。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。