大模型量化 INT4 和 INT8 有什么区别？从显存、速度到精度看

在大语言模型（LLM）的工程化落地与推理部署中，INT8 与 INT4 量化的根本区别在于权重及激活值的数值表示位宽不同，进而带来了显存占用、计算瓶颈、精度保留程度以及硬件适配门槛的系统性差异。

简要而言：

显存占用：INT8 使用 8 位整数表示数值，权重显存理论上接近 16 位浮点数（FP16/BF16）的 50%；INT4 使用 4 位整数表示，权重显存理论上降至 FP16 的 25% 左右。
精度表现：INT8 通常能极高程度地保留原始浮点模型的任务表现；INT4 压缩幅度更大，在小参数模型或复杂推理任务中更容易出现精度劣化，依赖更细致的量化算法优化。
推理速度：位宽减半并不等于推理速度翻倍。推理延迟受内存带宽、反量化计算开销及硬件底层指令集支持程度共同制约。

一、量化的底层机制：从浮点到低比特整数

理解 INT8 与 INT4 的差异，首先要理解模型量化（Quantization）的物理意义与数学映射过程。

1. 数据表示与数值映射

标准的深度学习模型通常以 32 位单精度浮点数（FP32）或 16 位半精度浮点数（FP16/BF16）存储参数。浮点数包含符号位、指数位和尾数位，能够覆盖极大的动态范围，但每个参数占用 2 到 4 字节显存。

量化技术通过建立连续浮点数值与离散整数之间的映射关系（映射公式通常包含缩放因子 Scale 与零点 Zero Point），将高精度浮点张量转换为低比特整数：

INT8：8 位有符号整数，可表示 256 个离散级别（ $-128 \sim 127$ ）。
INT4：4 位整数，仅可表示 16 个离散级别（例如有符号范围 $-8 \sim 7$ 或无符号范围 $0 \sim 15$ ）。

从 16 个离散区间到 256 个离散区间，表达能力存在数量级差距，这是两者在精度和算法复杂度上出现分水岭的根源。

2. 权重与激活值量化

在 LLM 推理过程中，量化方案主要分为两类：

仅权重（Weight-Only）量化：仅将静态权重压缩为 INT8 或 INT4 存储，计算时临时将权重反量化（Dequantize）回 FP16 与激活值进行浮点矩阵乘法。该方案实现相对简单，能有效降低模型加载所需的静态显存。
权重与激活同时量化（Weight-Activation, 如 W8A8 / W4A4）：将输入的激活张量（Activation）也动态量化为低比特，直接在 GPU 核心上执行整数矩阵乘法（如 INT8 Tensor Core GEMM）。这种方式对计算单元和算子支持的要求显著提高。

3. 常见量化范式：PTQ 与 QAT

训练后量化（PTQ, Post-Training Quantization）：在模型训练完成后，通过少量无标签样本构成的校准集（Calibration Set）统计参数与激活分布，直接计算量化参数。计算成本低、见效快，是目前大模型落地中最主流的方式。
量化感知训练（QAT, Quantization-Aware Training）：在训练或微调过程中引入模拟量化噪声，让模型参数主动适应低位宽离散化带来的扰动。通常在极低比特（如 INT4 甚至更低）下能获得更好的精度，但需要额外的训练算力与流程。

二、 INT8 与 INT4 的多维度核心对比

维度	INT8 量化	INT4 量化	机制与工程解释
理论权重显存	原始 FP16 的 ~50%	原始 FP16 的 ~25%	每个参数由 16 位分别降为 8 位和 4 位（不含 scale 等元数据开销）
离散表示级数	256 个取值	16 个取值	INT4 离散网格极粗，截断误差显著增大
异常值敏感度	较好容忍	极度敏感	LLM 激活中存在少数大幅值“异常特征（Emergent Outliers）”，INT4 需分组或特殊策略保护
精度保留率	普遍极高，绝大多数任务无感知劣化	取决于模型尺寸与量化算法，小模型易出现扰动	参数量越大的模型通常抗量化扰动能力越强
硬件与内核依赖	主流现代计算卡均有成熟通用 INT8 指令集	高度依赖专用打包/解包内核与特定架构算子	INT4 权重常以多元素打包方式存储，存在额外的解包开销

1. 显存直觉（理论假设算例）

以一个假设的 70B（700 亿）参数量模型为例进行理论推演（仅计算权重占用，不包含 KV Cache、激活值和运行时缓冲区）：

FP16 原始模型：约 $70 \times 10^9 \times 2\text{ Bytes} \approx 140\text{ GB}$ 显存。需要多张专业级计算卡协同承载。
INT8 量化模型：约 $70 \times 10^9 \times 1\text{ Byte} \approx 70\text{ GB}$ 显存。静态权重显存减少约一半。
INT4 量化模型：约 $70 \times 10^9 \times 0.5\text{ Bytes} \approx 35\text{ GB}$ 显存。这使得该模型在单台具备合适显存配置的设备上加载成为理论可能。

注：以上计算为理论参数量转换假设，未计入量化缩放系数（Scales/Zeros）元数据以及推理框架自身的显存开销。

2. 为什么 INT4 的精度保持更具挑战性？

研究表明（如 LLM.int8() 相关研究分析），当大语言模型参数规模超过一定阈值后，激活层中会出现极少部分数值极大的“异常特征（Outliers）”。

在 INT8 下，配合分通道（Per-channel）或混合精度策略，这部分异常值可以被有效隔离或保留。
在 INT4 下，16 个离散点无法同时兼顾大范围的异常值与小范围的密集数值，强制统一量化会导致大部分常规数值被压缩为零或同一个值，造成信息严重丢失。因此，现代 INT4 方案（如 AWQ、GPTQ 等）广泛采用分组量化（Group-wise Quantization）或显著权重保护机制来减缓精度损失。

三、决策检查清单：项目选型与上线评估

在实际技术选型中，不能单纯以“显存越小越好”为准绳，应根据业务约束执行以下步骤：

[步骤 1: 评估显存硬约束]
   │
   ├── 显存充足 (如配备大容量集群) ──────────> 优先选择 INT8 或 FP16 (保证零精度风险)
   │
   └── 显存受限 (目标硬件无法加载 INT8) ──────> 进入 INT4 评估路径
                                                   │
[步骤 2: 评估模型基底与算法] <─────────────────────┘
   │
   ├── 模型规模较小 (如 ≤7B) ────────────────> 需高度警惕 INT4 精度崩塌，引入高质量校准集
   │
   └── 模型规模较大 (如 ≥70B) ───────────────> 冗余度较高，INT4 表现通常相对稳健
                                                   │
[步骤 3: 任务级基准测试与吞吐实测] <───────────────┘
   │
   ├── 复杂逻辑/数学/长代码任务 ──────────────> 严格比对准确率、召回率指标
   │
   └── 吞吐量与首字延迟实测 ──────────────────> 验证所用算子与硬件的匹配性，确认无反向降速

业务决策核对清单

硬件兼容性确认：目标推理硬件及底层算子库是否对选定的量化格式（如 INT4 的特定 Group 格式或 INT8 Tensor Core）具有原生加速支持？
校准集分布对齐：PTQ 所使用的校准数据集是否能覆盖实际业务场景的输入分布？
关键任务验证：是否针对关键业务场景（如信息抽取格式合规率、数学推理准确率）建立了量化前后的自动化回归测试集？
全生命周期开销：量化后的吞吐量提升是否足以弥补潜在的算法调试与工程维护成本？

四、常见认知误区

误区 1：位宽从 8 降到 4，推理速度必然翻倍

事实：模型推理分为**内存受限（Memory-bound）阶段（如大批量生成时的逐字解码阶段）与计算受限（Compute-bound）**阶段（如长提示词预填充阶段）。在 Weight-Only 量化下，每次计算矩阵乘法前，硬件需要先将 4 位整数解包并转换为浮点数。如果解包与反量化内核未深度优化，或者计算单元不支持硬件级低比特加速，反量化引入的额外计算指令甚至可能导致推理延迟不降反升。

误区 2：量化只是简单的数值四舍五入

事实：朴素的均匀截断四舍五入在低比特大模型上通常会导致模型输出混乱。工业界应用的 INT4 方案涉及复杂的优化问题，例如二阶误差分析、关键通道敏感度探测及逐层误差补偿等。

误区 3：可以在不看模型尺寸的情况下断言“INT4 足够用”

事实：大参数量模型（如 70B 及以上）由于参数冗余度高，对量化噪声的容忍度通常远强于小模型（如 1B~7B）。小模型在 INT4 下更容易出现指令遵循能力下降或事实性幻觉增多。

五、适用边界与技术局限

不可替代真实业务评测：学术基准评测（如困惑度 Perplexity、通用多选择题跑分）不能完全代表特定业务落地场景（如特定 JSON 语法输出、专业领域客服对话）的稳定性。任何量化配置上线前均须以目标业务数据集进行实测。
非线性层与 KV Cache 的限制：对权重进行 INT4/INT8 量化并不能完全解决长文本生成时的显存爆炸问题，长上下文中的 KV Cache 依然占据大量显存，需结合上下文管理与其他针对性优化手段。
软硬件生态绑定：不同的量化实现格式在不同芯片架构、推理引擎（如 TensorRT-LLM、vLLM 等）上的支持成熟度差异明显，选型时须充分评估工程链条的兼容性。

参考文献与一手技术资料

如需进一步了解 AI 产业落地的全景架构与技术选型，可参考 AI 应用与产业全景分析及专题合集。完整图解资料请至购买与交付页面核对当前收录目录。

文中算例用于解释原理，具体参数请按引用资料与产品条件核对。发现问题，可将文章链接与依据发送至 support@packscena.com。

一、 量化的底层机制：从浮点到低比特整数