多卡训练的扩展效率，常常不是由显卡数量单独决定，而是受数据如何在设备和节点之间流动影响。做好多卡并行训练的网络拓扑设计，应先判断任务主要进行何种通信，再决定互联结构、交换网络参数和节点摆放方式；顺序反过来，容易出现硬件带宽充足、训练仍被通信拖慢的情况。
先辨认通信模式，再选拓扑
数据并行训练通常要在每轮计算后同步梯度。环形 All-Reduce 将数据分块，在设备间依次传递，适合带宽利用率重要、参与设备较多的场景；树形归约则沿层级聚合和分发，通信路径较短，常用于降低延迟。实际框架可能组合或动态选择算法，不能只凭算法名称推断性能，应使用真实训练批次验证。
张量并行会在一次前向或反向计算中多次交换激活值，因此对低延迟、高带宽互联更敏感；流水线并行主要在阶段边界传递张量，通信频率取决于微批次数与流水线切分。多种并行方式混用时，既要看通信量，也要看通信是否与计算重叠。多卡并行训练的网络拓扑设计应围绕最频繁、最难隐藏的通信环节展开。
把节点内与节点间链路分开规划
节点内优先利用高速互联
单机多卡通常借助 NVLink、NVSwitch 或 PCIe 互联；具体支持情况取决于服务器配置。检查设备之间是否存在不同的链路层级：若有，尽量将需要频繁互传的设备安排在较近的互联域内，并避免把同一通信组无意拆到带宽较弱的路径上。可用拓扑查询工具查看设备亲和关系，再对照框架的设备映射。
节点间按流量选择交换架构
节点间可采用以太网 RoCEv2 或 InfiniBand 等网络。RoCEv2 可复用以太网交换基础设施，但需要端到端核对拥塞控制、队列与丢包处理配置；InfiniBand 使用专用互联体系，部署和管理方式不同。两者都不能只比较标称链路速率，还要核实网卡、交换机端口、上行链路及节点布线是否匹配。
采用叶脊（leaf-spine）结构时，关注各叶交换机到脊交换机的上行容量。超售比表示下行总带宽与上行带宽之比：接近 1:1 的配置更适合节点间通信密集、预算允许的集群；较高超售可降低网络成本，但多个训练作业同时跨叶交换机通信时更易争用。合理取值要结合作业并发、流量方向和实测结果，不能把某个比例当成通用标准。
交换配置与节点分组的执行顺序
- 画出通信边界：记录每个作业使用的设备数、节点数、并行方式，以及通信发生在单机内还是跨节点；标明关键链路与交换机。
- 核对物理连线：确认网卡端口到叶交换机的连接、链路速率和冗余路径；避免同一节点的多块网卡意外集中到单一拥塞点。
- 统一网络参数：检查 MTU、路由、服务质量和拥塞控制配置是否端到端一致。RoCE 环境需按设备厂商及网络方案验证 ECN、PFC 等设置，避免未经测试就全网启用无损配置。
- 按拓扑分配节点：优先把通信量大的设备放在同一节点或同一交换机叶下；使用节点标签、资源分区或调度约束表达亲和关系，同时保留调度器在故障时重新安排资源的空间。
- 分层测量并迭代：先测单机设备互联，再测两节点和多节点带宽、延迟及集体通信时间，最后运行代表性训练。逐步增加节点数，观察扩展效率、链路利用率和重传或拥塞指标。
用测量结果判断瓶颈在哪里
如果单机测试正常、跨节点测试明显变差，优先检查交换路径、上行超售和拥塞；如果网络基准良好但训练扩展效率低，问题也可能在同步频率、数据输入或计算负载不均。测试时应固定软件版本、设备数量、批次设置和并发作业，比较相同条件下的通信时间，避免把不同负载下的结果直接对照。
多卡并行训练的网络拓扑设计不是一次性画图，而是“识别通信—映射物理路径—约束节点分组—基准测试—按瓶颈调整”的闭环。先让关键通信走最短、最稳定的路径，再根据真实负载决定是否扩充交换容量或调整作业摆放，比单纯堆叠高规格设备更可控。
常见问题
节点越多，训练一定越快吗？
不一定。计算量增长若赶不上通信与同步开销，增加节点反而会降低单位设备效率。应通过逐步扩容测量扩展效率。
RoCE 一定要开启 PFC 吗？
不应一概而论。是否启用及如何配置取决于网卡、交换机和拥塞控制方案，需在端到端验证后决定，并监控拥塞与暂停帧等指标。
节点分组应按机柜还是按交换机？
以实际通信路径为准。若同一叶交换机内的节点互通路径更短、带宽更充足，可优先按叶交换机分组；仍需结合上行容量和作业并发测试。
