INT8 ConvRot说明（不再需要FP8）

系统通知 AI自动翻译。当然，准确性、细微差别和作者意图可能无法得到充分反映。显示原文 INT8 ConvRot 说明（不再需要 FP8） 43 ひろろひ🐈‍⬛Forge Neo 推し 2026 年 7 月 4 日 18:16 名为 INT8 ConvRot 的建模和量化方法，在 2026 年 7 月 1 日发布的 ComfyUI v0.27.0 中原生支持，是一个热门的方法主题。它对 GeForce RTX 20/30 系列特别有利，但据报道，它提供的性能也超过了 GeForce RTX 40/50 系列上之前的标准 FP8 和 FP8 Scaled 格式。正因为如此，据说 INT8 ConvRot 将成为所有 8 位量化模型的标准，并且 Comfy-Org 实际上正在推进支持。由于信息还没有广泛传播，很多人对它有误解或混淆，我将在本文中进行整理和解释。 2026/7/7：添加 Forge Neo 现在支持 INT8 ConvRot 2026/7/6：添加有关 Kimama-san INT8 ConvRot 评估结果的信息 2026/7/5：在“建模方法和格式的分类”中添加有关 GGUF 的信息 2026/7/5：在“如何使用 INT8 ConvRot”AI 模型存储中添加有关 Triton 和 PyTorch 的信息格式 在解释 INT8 ConvRot 之前，我将解释一下 AI 模型存储格式的基础知识。建模和量化 AI 模型采用 FP32（一种 32 位 FLOAT 类型）进行建模，以在一般范围内实现最大精度，但由于即使是 SDXL 也会产生 12GB 的大文件大小，因此它们会被转换以将位数减少到 16 位、8 位，或者在某些情况下为 4 位。位计数越小，文件大小越小，从而更容易处理且处理速度更快。然而，由于可表示值的数量减少并且精度下降，因此尽可能地使用对精度和结果的影响最小化的方法和格式。建模方法和格式的分类下表对AI模型的建模方法和格式进行了粗略的分类。 $$ \begin{array} {l|l|l} \bf{阶级} & \bf{例} & \bf{役割} \\ \hline \text{fuァイル形式} & \text{safetensors, GGUF,} & \text{保存するコンテナ} \\ & \text{ONNX} & \\ \hline \text{符号化方式} & \text{FP16, BF16,} & \text{数値を位列で表现する方法} \\ & \text{INT8, FP8, FP4} & \\ \hline \text{sukeーringu} & \text{なし, Tensor-wise,} & \text{値の范囲を调整する方法} \\ \text{方式} & \text{Row-wise} & \\ \hline \text{量子化方式} & \text{RTN, AWQ,} & \text{低精度へ変换するearuゴrizumu} \\ & \text{GPTQ, ConvRot} & \\ \end{array} $$ 我在网上搜索了这样一个分类表，但没有找到，所以我在问答时创建了它ChatGPT 我自己的理解。它可能很粗糙或者有不恰当的术语，但由于我已经纠正了很多次，我相信总体分类是正确的。 2026/7/5更新：GGUF不仅仅是一种文件格式，还指定了Q4_K_M等量化数据的存储方法，因此无法在上面的分类表中进行组织。由于本文不涉及 GGUF，因此我将坚持上表中的分类，以免组织复杂化。顺便说一句，从广义上讲，使用这些方法和格式进行建模有时统称为“量化”，但在本文中，我将其称为“建模”，并将转换为低精度的算法称为“量化方法”。请注意，有无数网站详细解释了各个方法和格式，因此我不会在本文中解释它们。如有必要，请在其他地方查找或询问人工智能。关于FLOAT类型，Kimama-san的文章有详细介绍。代表性模型格式和INT8 ConvRot 根据上述分类表，包括INT8 ConvRot 在内的代表性模型格式整理如下。 16位模型 $$ \begin{array} {l|l|l} \bf{阶层} & \bf{FP16} & \bf{BF16} \\ \hline \text{符号化方式} & \text{FP16} & \text{BF16} \\ & & \text{(Brain FP16)} \\ \hline \text{sukeeーringu} & \text{なし（固定）} & \text{なし（固定）} \\ \text{方式} & & \\ \hline \text{量子化方式} & \text{RTN} & \text{RTN} \\ \\ \end{array} $$ 8 位 INT 类型模型 $$ \begin{array} {l|l|l|l} \bf{Layer} & \bf{INT8} & \bf{INT8} & \bf{INT8} \\ & & \bf{Tensor} \text{-} \bf{wise} & \bf{ConvRot} \\ \hline \text{编码方法} & \text{INT8} & \text{INT8} & \text{INT8} \\ \\ \hline \text{缩放} & \text{无（固定）} & \text{张量方式} & \text{Row-wise} \\ \text{方法} & & & \\ \hline \text{量化方法} & \text{RTN} & \text{RTN} & \text{ConvRot} \\ \\ \end{array} $$ 8 位 FLOAT 模型 $$ \begin{array} {l|l|l|l} \bf{Layer} & \bf{FP8} & \bf{FP8\ Scaled} & \bf{MXFP8} \\ \hline \text{编码方法} & \text{FP8} & \text{FP8} & \text{FP8} \\ & \text{(E4M3/E5M2)} & \text{(E4M3/E5M2)} & \text{(E4M3/E5M2)} \\ \hline \text{缩放} & \text{无（固定）} & \text{张量方式等} & \text{单层} \\ \text{方法} & & & \text{微缩放} \\ \hline \text{量化方法} & \text{RTN} & \text{RTN} & \text{RTN} \\ \\ \end{array} $$ 4 位模型 $$ \begin{array} {l|l|l} \bf{Layer} & \bf{NVFP4} & \