Meta 近日宣布开源一套名为 OpenZL 的无损压缩框架,旨在通过创新的数据结构定义和可还原规律生成压缩步骤,实现高效的数据压缩与解压。该框架允许不同文件采用定制化压缩流程,并将解压逻辑直接嵌入压缩文件,通过通用解压缩器即可独立完成解压,无需额外插件。在苹果 M1 CPU 和 clang-17 环境下,OpenZL 在 Silesia 数据集上展现出优异性能,压缩比达到 2.06,压缩速度约 340 MB/s,解压速度约 100 MB/s,在结构化数据场景下表现突出,优于 zstd 和 xz 等现有压缩方案。
📦 **OpenZL 框架的设计理念:** 该框架的核心在于“先定义清楚数据结构,再根据可还原的规律生成压缩步骤,最后再执行压缩”。这种方法论使得压缩过程更加灵活和高效,能够根据数据的特性进行优化。
🗜️ **自包含解压逻辑,简化使用:** OpenZL 的一个显著特点是,它允许不同文件使用不同的压缩流程,并且在压缩时将具体的解压逻辑直接写入文件中。这意味着在解压时,只需一个通用的解压缩器(Universal Decoder)即可读取并执行文件内部的解压指令,无需安装额外的插件或依赖其他工具,极大地方便了用户的使用。
🚀 **性能表现卓越,尤其适用于结构化数据:** 在苹果 M1 CPU 和 clang-17 环境下,OpenZL 在 Silesia 数据集上的测试结果显示,其压缩后文件大小为 3516649 B,压缩比达到 2.06,压缩速度约为 340 MB/s,解压速度约为 100 MB/s。与 zstd 和 xz 相比,OpenZL 在保持高压缩比的同时,显著提升了处理速度,尤其是在结构明确的数据场景下,其优势更为明显。
IT之家 10 月 7 日消息,Meta 发文,宣布开源一套名为 OpenZL 的无损压缩框架,目前相应框架源代码已在 GitHub 上开放(点此访问)。

据介绍,该框架设计理念为“先定义清楚数据结构,再根据可还原的规律生成压缩步骤,最后再执行压缩”。不同文件可以使用不同的压缩流程,但每个文件都会在压缩时,将具体的解压逻辑直接写入文件中。解压时,通过一个通用解压缩器(Universal Decoder)读取文件中包含的流程并按步骤执行即可恢复原始数据,无需安装额外插件或协调不同工具。
Meta 研究人员以 Silesia 数据集的 sao 文件作为样本,在苹果 M1 CPU 与 clang-17 环境下进行测试,其中显示 OpenZL 的压缩后文件大小为 3516649 B,压缩比 2.06,压缩速度约 340 MB/s,解压速度约 100 MB/s。
相比之下,zstd-3 压缩后为 5,531,935 B(压缩比 1.31),速度分别为 220 MB/s 与 850 MB/s;而 xz-9 则为 4414351 B(压缩比 1.64),压缩速度仅 3.5 MB/s,解压速度 45 MB/s。结果显示,在结构明确的数据场景中,OpenZL 能在保持高压缩比的同时进一步提升处理速度。