InfiniBand 和以太网怎么选？读懂 AI 集群的 Scale-out 网络

核心选型结论：先看业务约束与团队能力

在 AI 基础设施建设中，InfiniBand 与以太网的选择本质上不是单纯的“技术优劣之争”，而是确定性低延迟交付与通用开放生态扩展之间的架构权衡：

• 选 InfiniBand 的典型场景：以大规模密集型模型预训练为主、对节点间集体通信尾延迟极度敏感、追求开箱即用的无损通信保障，且预算与供应链支持专属高性能网络栈的独立算力集群。
• 选 AI 优化以太网（如 RoCEv2）的典型场景：企业已有成熟的以太网运维体系与监控工具链、希望避免单一硬件生态绑定、集群需要兼顾通用计算与多租户业务，且团队具备交换机精细化拥塞控制与流量调优能力。
• 排除普通企业以太网：未经 AI 特性优化与无损流控配置的传统企业以太网，无法承载分布式训练中高并发、突发性的大流同步，严禁直接作为中大规模训练的 Scale-out 互联骨干。

---

核心机制：AI 集群通信特征与底层网络差异

1. 网络层级边界：Scale-up 与 Scale-out

在深入协议之前，必须明确 AI 算力集群的两个网络维度：

• Scale-up（节点内扩展）：主要解决单服务器节点内部多 GPU/加速卡之间的高速互联。根据 NVIDIA NVLink 架构资料，此类内部互联通过极高带宽的私有总线或专用互联网络，构建紧耦合的加速卡内存共享与数据交换池。
• Scale-out（跨节点扩展）：负责将数十、数百乃至上千台独立算力服务器连接成统一集群。本文探讨的 InfiniBand 与以太网正是工作在 Scale-out 层面，负责节点间网卡（NIC）与交换机集群的网络路由与数据同步。

2. AI 训练流量特征：大流、突发与尾延迟敏感

AI 分布式训练（如数据并行、流水线并行和张量并行）依赖频繁的集合通信（Collective Communication，如 All-Reduce、All-Gather）。这些通信表现出显著区别于传统 Web 流量的特征：

• 大象流（Elephant Flows）并发：节点间同时触发大规模梯度同步，瞬间产生大量占满链路的高吞吐数据流。
• 木桶效应与尾延迟（Tail Latency）：集合通信需要所有参与节点完成同步才能进入下一步计算。任一链路的拥塞、丢包或重传，都会直接拉长整组任务的等待时间，导致昂贵的算力资源处于空闲等待状态。
• 对无损网络（Lossless）的严苛要求：传统 TCP/IP 依赖丢包检测与退避重传，但在 AI 高负载下，丢包重传引起的延迟抖动是算力效率下降的主要诱因。

3. InfiniBand 机制：硬件级端到端确定性

根据 NVIDIA 网络互联架构资料，InfiniBand 专为高性能计算与 AI 设计，具备以下底层特征：

• 原生远程直接内存访问（RDMA）：通信双方直接读写对方内存，完全绕过操作系统内核与 CPU 中断，大幅降低通信延迟和主机开销。
• 基于信用证的流控（Credit-based Flow Control）：由硬件在链路层逐跳管理缓冲机制，仅当下游接收端确认有可用缓冲区时才发送数据包，从源头杜绝网络因缓冲区溢出而丢包。
• 集中式子网管理器（Subnet Manager）：由独立的中央管理单元统一计算全局拓扑与转发路径，避免了分布式路由震荡与链路哈希冲突。

4. AI 优化以太网机制：基于标准的无损化调优

传统以太网基于“尽力而为（Best-effort）”传输，必须通过协议扩展才能支持 AI 负载：

• RoCEv2（RDMA over Converged Ethernet v2）：将 RDMA 报文封装在 UDP/IP 报文中，使以太网具备跨节点低延迟内存读写能力。
• PFC（基于优先级的流控，Priority-based Flow Control）：在以太网链路层将流量划分为不同优先级队列，对 RDMA 专用队列实施反压暂停，以模拟无损传输。
• ECN（显式拥塞通知，Explicit Congestion Notification）：交换机在队列积压时标记数据包，终端网卡收到后主动降低注入速率，配合 PFC 缓解网络死锁与队头阻塞。
• 关键差异：AI 优化以太网依赖复杂的交换机算法调优与拓扑哈希优化，属于在开放网络体系上构建的无损保障，对工程配置要求极高。

5. 物理层澄清：线缆与光模块的角色

网络协议的选择并不等同于物理布线形态。根据 NVIDIA 线缆与连接器技术规范，直连铜缆（DAC）、有源铜缆（ACC/AEC）和光模块（Transceiver）配合光纤均属于物理层介质。无论采用 InfiniBand 还是以太网，机架内短距离通常可使用铜缆互联，跨机架长距离均需配合特定速率的光模块。想了解光模块物理层形态与选型逻辑，可参阅 光模块产业与技术全景解析。

---

架构特性横向对比

---

选型决策核对清单与场景推演

选型决策四步核对清单

1. 核对集群定位与计算模式：是单一算法团队的大规模基础模型预训练（追求稳定出产），还是跨部门多租户的混合推理与数据清洗任务？
2. 核对网络工程运维储备：团队是否具备深入排查 PFC 死锁、ECN 阈值震荡、PFC 风暴的以太网调优能力，还是需要一套开箱即用的自动化高性能网络？
3. 核对多厂商供应链策略：基础设施战略是否要求在交换芯片、光模块与网卡层面保持多供应商兼容？
4. 核对物理部署与扩展规模：跨机架连接时，物理层线缆与光模块预算是否齐备？

假设场景推演（非真实客户案例）

场景 A（假设场景示例：专用大模型预训练集群）
假设条件：某研发团队计划建设由 128 台算力服务器构成的专用模型训练集群，所有节点统一执行参数量巨大的单一稠密模型预训练任务。
推演分析：通信瓶颈主要集中在跨节点的频繁全量梯度同步。若采用 AI 优化以太网，一旦网络发生微秒级的哈希不均或队头拥塞，极易导致数十个计算节点停顿等待。该场景下，采用 InfiniBand 架构能通过硬件级信用流控和确定性路径规划，最大化降低通信开销的不确定性。

场景 B（假设场景示例：多业务混合企业算力中心）
假设条件：某企业需部署 64 台服务器，兼顾日常数据分析、中小型模型微调及高并发模型在线推理服务，且已有成熟的数据中心网络运维团队。
推演分析：业务流量混合度高，且团队已沉淀基于通用以太网的监控平台。此时部署 AI 优化以太网（RoCEv2），可以在复用现有运维体系与自动化工具的前提下，满足微调与推理的通信需求，并保持硬件采购的供应链灵活性。

---

常见认知误区

• 误区一：只要端口标称带宽相同（如均为 400G/800G），两者的实际训练吞吐就完全一致。
  事实澄清：端口物理带宽仅代表理论传输上限。分布式训练的实际吞吐取决于持续高并发下的有效吞吐率与尾延迟表现。若网络在微突发下频繁触发反压或丢包，有效算力利用率将显著缩水。
• 误区二：普通数据中心以太网交换机开启 RoCE 即可达到高性能要求。
  事实澄清：AI 场景的 RoCEv2 高度依赖交换机的芯片大缓存、深队列管理、精确的 ECN 标记以及动态负载均衡能力。未经专门架构设计的普通以太网交换机极易发生缓冲区溢出。
• 误区三：购买了特定光模块或线缆就代表选定了 InfiniBand 或以太网。
  事实澄清：根据 NVIDIA 连接器与线缆技术定义，光电转换模块与连接器定义遵循业界通用的物理接口规范（如 QSFP、OSFP）。物理连接仅提供数据比特传输通道，真正决定网络属性的是两端的网卡 ASIC、交换机操作系统及通信协议栈。

---

适用边界与资料说明

1. 架构演进不确定性：AI 网络技术处于持续迭代期，以太网阵营（如超级以太网联盟 UEC）正在持续完善针对大模型通信的标准化协议，InfiniBand 亦在持续演进其硬件流控能力。选型决策需随具体项目周期内的技术成熟度动态评估。
2. 免责与边界声明：本文未引用未经验证的市场排名、企业收益或特定价格数据；文中所列拓扑与节点规模均为说明机制逻辑的假设性示例，实际项目需根据算力芯片类型、模型并行切分策略及机房散热条件进行严格工程验算。
3. 延伸阅读与资料核对：
   • 如需深入了解 AI 基础设施全景及更多技术专题，可访问 AI 基础设施与产业专题合集。
   • 更多物理互联与结构化图解信息，请参考网站相关技术目录。