核心技术原理 - 利用大型语言模型作为强大的概率预测引擎，将自然语言的高维分布转换为结构化的概率信息以实现高效压缩[5] - 核心方法为基于排序的编码，即存储目标词元在LLM预测的概率排序列表中的排名，而非词元本身[6] - 解压时使用相同的LLM和上下文重现概率分布，通过存储的排名准确选择对应词元，实现无损文本恢复[6] 性能表现 - 在维基百科、小说文本和科学摘要等多种数据集上，其压缩率均优于传统压缩工具如ZIP和LZMA[2] - 与其他以LLM为基础的闭源压缩系统相比，表现出同等甚至更优的性能[2] 项目发展与现状 - 项目灵感源于实验室内部讨论，随着业界在确定性LLM推理方面取得突破，研究团队快速构建了原型并证明可行性[5] - 该项目已经开源，主要作者是来自上海交通大学ACM班的本科生Yi Pan，目前正在华盛顿大学实习[4] 当前挑战与局限 - 存在效率问题，LLM推理的计算复杂度与序列长度成二次方关系，长序列推理受内存带宽限制[7] - 采用分块处理文本策略以提高GPU利用率并降低计算开销[7] - 处理速度因严重依赖大规模模型推理而远低于传统压缩算法[7] - 当前实现主要针对自然语言，如何扩展到图像、视频或二进制数据等其他模态是未来探索方向[9]

朔风 投稿 量子位 | 公众号 QbitAI 当大语言模型生成海量数据时，数据存储的难题也随之而来。 对此，华盛顿大学（UW）SyFI实验室的研究者们提出了一个创新的解决方案：LLMc，即 利用大型语言模型自身进行无损文本压缩的引擎 基准测试结果表明，无论是在维基百科、小说文本还是科学摘要等多种数据集上，LLMc的压缩率都优于传统的压缩工具（如ZIP和LZMA）。 同时，与其他以LLM为基础的闭源压缩系统相比，LLMc也表现出同等甚至更优的性能。 值得一提的是，该项目已经开源，主要作者是来自上海交通大学ACM班的本科生Yi Pan，目前正在华盛顿大学实习。 LLMc的压缩机制 LLMc的灵感来源于实验室一年前的一次内部讨论。当时，研究者们面临一个核心挑战：LLM推理中涉及的内核操作具有高度的非确定性，这 使得精确、可复现的压缩和解压变得困难。 但随着业界在确定性LLM推理方面取得突破，这一问题迎刃而解，也为新引擎的诞生铺平了道路。研究团队顺势快速构建了LLMc的原型，并 成功证明用LLM进行高效压缩的可行性。 LLM与数据压缩之间的联系根植于信息论的基本原理。 LLMc并不直接存储词元本身（例如其ID），而是 ...