显存容量和显存带宽有什么区别？模型能放下不等于跑得快

图解产业阿军编辑 · AI 辅助整理与编辑核查

在大语言模型（LLM）的硬件部署与推理评估中，存在一个普遍的直觉误区：只要显卡拥有足够的显存容量把模型参数文件装入，推理任务就能流畅进行。然而在系统级工程实践中，“装得下”与“跑得快”受控于两套截然不同的物理与硬件指标。

显存容量（VRAM Capacity，单位通常为 GB）决定了设备能够容纳的模型权重、上下文状态以及推理框架运行环境的物理空间上限，解决的是“能否承载并启动推理”的准入门槛；显存带宽（Memory Bandwidth，单位通常为 GB/s 或 TB/s）则决定了计算单元与存储颗粒之间单位时间内的数据搬运上限，在访存成为瓶颈时影响模型生成token的速度。显存容量类似于仓库的货架容积，显存带宽则是货物的装卸通道与出入道路宽度。仓库即便能完整堆放全部货物，若出货通道受限，整体数据周转仍然会陷入停滞。

核心概念拆解：静态驻留与动态流通

理解显存容量与显存带宽的技术差异，需要厘清硬件在推理任务中的职责分工。

显存容量承载静态参数与中间状态的持久驻留。在本文讨论的全GPU驻留方案中，加载后的权重保留在显存；CPU卸载等方案另有传输开销。随着推理服务接收请求，系统还需动态分配显存以保存每一层生成的键值缓存（KV Cache），以及前向计算过程中的瞬时激活值（Activations）与推理引擎内部的预分配内存池。

显存带宽是数据在显存颗粒与计算核心（如 Tensor Core）之间往返搬运的管道截面积，主要由显存位宽（Bus Width）和等效数据传输速率共同决定。采用不同的显存物理架构会对带宽产生显著影响，这在产业界关于 HBM与DDR/GDDR的对比 中表现得尤为明显。高带宽内存（HBM）通过三维晶圆堆叠技术与超宽总线设计，打破了传统片上引脚数量限制，大幅提升了数据搬运速率，主要应对高性能计算与大模型推理中严峻的“内存墙”（Memory Wall）挑战。

推理阶段的瓶颈分流：Prefill 与 Decode

在全 GPU 显存驻留的标准 Transformer 稠密模型（Dense Model）推理流程中，推理生命周期通常分为两个计算特征迥异的阶段：输入处理（Prefill）阶段与自回归生成（Decode）阶段。需要强调的是，系统究竟受限于算力还是受限于带宽，并非一成不变，而是动态取决于并发批量大小（Batch Size）、模型架构、上下文长度、KV 缓存状态以及底层内核算子的具体实现。

在 Prefill 阶段，模型并行接收并处理提示词（Prompt）序列。此时各层注意力机制和前馈网络主要执行批量的矩阵乘法（GEMM）。根据 NVIDIA 深度学习性能官方技术文档 的界定，决定系统处于算力受限（Compute-bound）还是内存受限（Memory-bound）的关键指标是运算强度（Operational Intensity，即每次显存访问所对应的有效运算次数）。当输入 Prompt 较长或并发 Batch 较大时，Prefill 阶段的运算强度通常较高，张量计算单元持续处于高负载状态，此时系统性能往往更偏向算力受限，主要消耗 GPU 的 FP16 浮点算力（TFLOPS）或 INT8 整型算力（TOPS）。但在极短 Prompt 且 Batch 为 1 的特定场景下，Prefill 同样可能表现出部分访存受限特征。

进入 Decode 阶段后，计算模式发生根本转变。在无推测解码、非稀疏激活的标准稠密模型单并发（Batch Size = 1）推理中，模型每次仅根据前文预测生成一个新 Token。生成单个 Token 时，计算核心通常必须把全量模型权重从显存完整遍历读取一次。此时矩阵计算从 GEMM 退化为矩阵-向量乘法（GEMV），运算强度急剧下跌。计算单元大部分时间处于空闲等待显存数据传输的状态，单并发生成速率极度依赖显存带宽，通常表现为显存带宽受限。但若通过连续批处理（Continuous Batching）大幅提升并发数，多请求共享单次权重读取，计算强度随之上升，Decode 阶段也可能重新向算力受限倾斜。

假设算例：Decode 阶段理论生成速率的推导与边界

为了直观展示显存带宽对单并发生成速度的物理制约，可以建立一个高度简化的理论算例。必须说明：本算例基于高度抽象的理想模型假设，不包含通信延迟、实际硬件开销与稀疏化优化，绝不代表真实设备的实际基准测试或性能承诺。

场景设定

• 模型设定：70B 参数量的标准 Transformer 稠密大语言模型。
• 压缩格式：采用 4-bit 权重量化，纯权重体积约为 35 GB（未包含量化元数据与缩放参数）。关于量化技术的实现与精度权衡可参阅 大模型量化技术（INT4/INT8）指南。
• 硬件设定：假定设备标称显存容量为 48 GB，标称显存理论带宽为 1000 GB/s。
• 运行工况：单并发串行生成（Batch Size = 1）。

理论推导

在单并发稠密模型且假定每生成 1 个 Token 完整读取一次全部权重的极端理想条件下，理论生成速率可通过显存理论带宽与纯权重体积的比值进行估算：

理论最大生成速度 = 显存理论带宽 / 模型纯权重体积 = 1000 GB/s / 35 GB ≈ 28.6 Tokens/s

边界条件与现实偏差

上述约 28.6 Tokens/s 仅为特定理想假设下的理论算例，在真实的推理引擎中，实测速度通常显著低于该推导值，原因包括：

1. 未计入 KV Cache 访存开销：随着上下文序列增长，注意力机制对已有历史 Token 的 Key/Value 缓存读取与写入同样占用宝贵的显存带宽。
2. 有效显存带宽损耗：受内存控制器调度、非连续地址访问、数据对齐等物理特性制约，硬件在实际运行中无法达成 100% 的标称理论峰值带宽。
3. 系统调度与算子开销：GPU 内核启动（Kernel Launch）延迟、驱动层调用、以及主机与设备之间的同步逻辑均需耗费时间。
4. 模型架构与算法差异：若模型采用混合专家架构（MoE）仅激活部分参数，或系统采用了推测解码（Speculative Decoding），单 Token 生成并不需要读取全部权重，此时上述假定不再成立。

若显卡显存理论带宽降至 300 GB/s，在相同假定下的理论单并发上限直接跌至约 8.6 Tokens/s。这只展示同一简化假设下，改变带宽参数对估算值的影响。

显存占用的真实构成：装得下为何仍会 OOM？

在本地部署与产业服务中，常见“模型权重文件小于显存标称容量，但服务一启动或发起请求便发生显存溢出（Out of Memory）”的现象。其根源在于 35 GB 的 70B 4-bit 纯权重并未计入运行时所需的动态开销，48 GB 显存并不能确保该模型在各种配置下都能顺利运行。

真实环境下的显存占用包含以下几个核心部分：

1. 量化元数据与框架运行时驻留：量化模型除了整型权重本身，可能还需存储量化缩放因子、零点等信息，取决于格式等格式相关的元数据。此外，CUDA 上下文、推理引擎（如 vLLM、TensorRT-LLM）预分配的内存池和通信缓存均需占用基础显存。
2. KV Cache 的动态膨胀：自回归生成必须保留前序 Token 在各层生成的 Key 和 Value 张量。KV Cache 的显存需求与并发数、上下文窗口长度、注意力头维度呈线性正比。在超长上下文或多并发场景下，KV Cache 所需显存会迅速膨胀，甚至达到与模型权重相当乃至更高的量级。
3. 前向激活值峰值（Activations）：在 Prefill 阶段处理较长 Prompt 输入时，前向自注意力层与前馈网络计算中间产生的临时张量会瞬间推高显存水位。若显存余量不足，极易在初始阶段直接触发 OOM。

因此，显存容量规划不能仅参照静态权重文件体积，必须针对并发规模和上下文长度预留足够的显存余量。

产业选型误区与工程决策边界

在硬件选型与系统架构设计中，混淆容量与带宽指标常导致算力资源的错配。

多卡与并发不能只做容量加法

两张24GB显卡的容量总和并不保证能运行某个模型。还要看框架如何切分、每张卡的占用峰值和互联开销；张量并行只是可用策略之一。

优化单用户延迟与提高所有用户的总吞吐是不同目标。批量可能提高权重重用率，也会增加缓存需求和排队等待。应在指定模型、上下文和并发下测量，不能把带宽或容量任一项当作唯一选型依据。

在实际选型中，建议采用三步核验流程： 第一步，核验容量基线：综合评估“模型纯权重 + 量化元数据 + 预估最大并发数 × 最大上下文长度下的 KV Cache + 框架常驻开销”，确保物理容量具备安全裕度； 第二步，核验带宽基线：依据单流吐字延迟目标，结合有效显存带宽评估单并发生成速率的可达性； 第三步，核验互联拓扑：涉及跨卡切分时，核验通信总线带宽是否与并行策略相匹配，避免互联总线成为新的系统瓶颈。

---

参考来源

• NVIDIA 官方开发文档：Deep Learning Performance: GPU Background
• 开源社区硬件讨论案例：LocalLLaMA 关于显存与带宽讨论案例 A 以及 LocalLLaMA 关于每美元带宽考量案例 B