文章核心观点 - 提出了一种名为CalibQuant的1比特多模态大语言模型视觉KV cache量化方案，该方案通过结合后缩放和校准技术，在显著降低显存与计算成本的同时，几乎不损失模型性能，并实现了高达10倍的吞吐量提升 [1][2][3][5] 技术背景与动机 - 多模态大语言模型在处理大尺寸、高分辨率图像或视频时，KV cache的显存占用与输入长度成正比，成为限制推理吞吐量的关键瓶颈 [4][6] - 现有的LLM KV cache量化方法可压缩至2比特，但未针对多模态任务中的视觉冗余进行优化，无法在1比特极限情况下有效使用 [6] - 该研究通过分析多模态大语言模型中视觉KV cache的冗余特性，设计了专门的量化方案 [7] 方法概述 - 方法基于通道维度的KV cache量化，并提出了后缩放优化方案和针对注意力权重的校准策略 [8] - 通道维度量化：在通道维度上细化统计范围，对K cache和V cache的每一行向量进行均匀整数量化，以减少模型性能损失 [9][10] - 后缩放管理策略：通过重排计算顺序，将通道维度的反量化操作延迟并集成到后续向量乘法中，仅存储低比特整数量化值，避免了全精度反量化的计算开销，提高了计算和存储效率 [11][12] - 量化后校准：针对1比特量化导致反量化值包含大量极端值、进而引起注意力分数失真的问题，提出一种线性变换校准方法，调整softmax前的注意力分数峰值，使其分布更接近全精度模型 [13][14] 实验结果 - 在LLaVA和InternVL模型上，于图像描述（Captioning）、视觉问答（VQA）、视频问答（Video QA）等任务中测试了方法性能 [15] - 在COCO Caption基准测试中，该方法在不同比特数（8、4、2、1比特）下，大部分评估指标优于对比方法KIVI和VLCache [15] - 具体数据示例： - 对于LLaVA-1.5-7B模型，在1比特量化下，CIDEr分数达到1.109，超过了VLCache方法的1.053 [15][16] - 对于InternVL-2.5-26B模型，在4比特和2比特量化下，CIDEr分数分别达到1.320和1.313，均优于VLCache和KIVI [15][16] 运行效率分析 - 在InternVL-2.5系列模型上，对比了1比特量化方法与16比特基线在不同视觉token长度和GPU显存限制下的吞吐量（每秒生成token数） [17] - 具体数据示例： - 对于80亿参数模型，当视觉token长度n=3328、显存为5GB时，1比特量化方法吞吐量为126.582 tokens/s，而基线仅为11.628 tokens/s，提升约9.88倍 [17] - 在相同模型和token长度下，显存为30GB时，1比特量化方法吞吐量达459.016 tokens/s，基线为40.816 tokens/s，提升约11.24倍 [17] - 总体而言，该方法在InternVL-2.5上实现了约10倍的吞吐量提升 [1][5][17] 总结与意义 - 该方法有效解决了极低比特量化导致的分布偏移和模型性能下降问题 [18] - 通过校准策略和后缩放技术，在保证高效计算和存储的同时，维持了模型性能 [18] - 该方案具有即插即用特性，可无缝集成到各种现有多模态大语言模型中，无需改动原模型 [3][5]