安利一款Facebook开源的高性能压缩工具Zstd

1. 工具介绍

主要介绍 zstd 工具的作用和性能测试

我们称 Zstandard 或 Zstd 是一种快速的无损压缩算法，是针对 zlib 级别的实时压缩方案，以及更好的压缩比。它由一个非常快的熵阶段，由 Huff0 和 FSE 库提供。这个项目是作为开源的 BSD 许可收费的库，以及一个生成和解码 .zst 格式。

以前的压缩方式，都是适用于典型文件和二进制的压缩方案( MB/GB)的情况。然而，要压缩的数据量越小，压缩就越困难。这是所有压缩算法都存在的问题，原因是压缩算法从过去的数据中学习如何压缩未来的数据。但是在一个新的数据集的开始，没有“过去”可以参考。

为了解决这种情况，Zstd 提供了一种新的训练模式，可以使用这种模式对所选数据类型的算法进行调优。训练 Zstandard 是通过提供一些样本(每个样本一个文件)来实现的，训练的结果存储在称为**“字典”**的文件中，该文件必须在压缩和解压缩之前加载。使用此字典，可以在小数据上实现的压缩率大大提高。

以下示例，使用由 github 公共 API 创建的 github 用户示例集。它由大约 10K 条记录组成，每条记录 1KB 左右。

 小数据压缩的案例

如果在一组小的数据样本中存在某种相关性，那么训练就是有效的。一个字典的数据越具体，它的效率就越高(没有通用字典)。因此，为每种类型的数据部署一个字典将带来最大的好处。字典增益在前几个 KB 中最有效。然后，压缩算法将逐步使用先前解码的内容，以更好地压缩文件的其余部分。

（编辑：好传媒网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!