安利一款Facebook开源的高性能压缩工具Zstd

1. 器材先容

首要先容 zstd 器材的浸染和机能测试

我们称 Zstandard 或 Zstd 是一种快速的无损压缩算法，是针对 zlib 级此外及时压缩方案，以及更好的压缩比。它由一个很是快的熵阶段，由 Huff0 和 FSE 库提供。这个项目是作为开源的 BSD 容许收费的库，以及一个天生息争码 .zst 名目。

早年的压缩方法，都是合用于典范文件和二进制的压缩方案( MB/GB)的环境。然而，要压缩的数据量越小，压缩就越坚苦。这是全部压缩算法都存在的题目，缘故起因是压缩算法从已往的数据中进修怎样压缩将来的数据。可是在一个新的数据集的开始，没有“已往”可以参考。

为了办理这种环境，Zstd 提供了一种新的实习模式，可以行使这种模式对所选数据范例的算法举办调优。实习 Zstandard 是通过提供一些样本(每个样本一个文件)来实现的，实习的功效存储在称为**“字典”**的文件中，该文件必需在压缩息争压缩之前加载。行使此字典，可以在小数据上实现的压缩率大大进步。

以下示例，行使由 github 民众 API 建设的 github 用户示例集。它由约莫 10K 笔记录构成，每笔记录 1KB 阁下。

 小数据压缩的案例

假如在一组小的数据样本中存在某种相干性，那么实习就是有用的。一个字典的数据越详细，它的服从就越高(没有通用字典)。因此，为每种范例的数据陈设一个字典将带来最大的甜头。字典增益在前几个 KB 中最有用。然后，压缩算法将慢慢行使先前解码的内容，以更好地压缩文件的别的部门。

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!