基于平坦度的理论最优量化

摘要

18800v1 Announce Type: new Abstract: Post-training quantization has emerged as a widely adopted technique for compressing and accelerating the inference of Large Language Models (LLMs)。

the quantization and outliers model

2026-05-20 1 阅读约1分钟阅读 Xiusheng Huang, Zhe Li, Xuanwu Yin, Lu Wang, Yequan Wang, Dong Li, Emad Barsoum, Kang Liu

arXiv:2605.18800v1 公告类型：新摘要：训练后量化已成为一种广泛采用的压缩和加速大型语言模型 (LLM) 推理的技术。 LLM 量化的主要挑战源于激活异常值，这会显着降低模型性能，尤其是在较低位精度的情况下。虽然最近的方法试图通过跨特征维度的线性变换来减轻异常值，但我们的分析表明，变换后的权重和激活仍然表现出具有集中幅度分布的持久异常值模式。在本文中，我们首先对量化误差和异常值之间的数学关系进行建模，然后引入一种新的度量平坦度来量化异常值的分布。在此基础上，我们推导出平坦度的理论最优解。基于这些见解，我们提出了双向对角量化（BDQ），这是一种新颖的训练后量化框架，可通过优化的矩阵变换有效地分散异常值模式。 BDQ 通过学习对角线运算，策略性地将离群值分布在矩阵维度上。大量实验表明 BDQ 建立了新的量化基准。它在 LLaMA-3-8B 模型上实现了 W4A4 量化的小于 1\% 的精度下降。在更具挑战性的 W2A4KV16 实验中，与最先进的方法相比，BDQ 在 DeepSeek-R1-Distill-LLaMA-70B 模型上将性能差距缩小了 39.1%。

订阅66必读