超节点(Superpod)是一种把几十到上百张图形处理器(GPU)通过 NVLink 连接进同一个高带宽域(high-bandwidth domain)的算力单元。它的目标很直接:让跨 GPU 通信尽量像在同一台机器内部完成。
在普通 GPU 服务器里,几张卡可以通过 NVLink 或 PCIe 直连。超节点进一步引入 NVSwitch(NVLink 交换芯片),把多个节点、多个 GPU 托盘连成更大的交换网络。于是,GPU 之间不必先经过网卡、以太网(Ethernet)交换机、协议栈再到达对端,而是走 GPU 间的高速链路。注意,超节点不是无限大:超过这个高带宽域后,仍要回到 InfiniBand 或以太网,把多个超节点连成更大的集群。
打个比方:普通集群像多栋办公楼,楼内沟通走走廊,楼间沟通要出门上城市道路,装车、过红绿灯、排队;超节点则像把几十个车间并进同一座大厂房,工位之间用传送带直连。大模型训练时,GPU 要频繁交换梯度、激活值和专家路由结果,通信一慢,算力就闲置。
| 维度 | 普通通用网络集群(以太网/InfiniBand) | 超节点(NVLink 域) |
|---|---|---|
| 互连范围 | 机器内高速,机器间走通用网络 | 几十到上百 GPU 在同一 NVLink 域 |
| 跨 GPU 路径 | 经网卡、交换机、协议栈 | 经 NVSwitch 交换 |
| 通信特征 | 延迟和带宽受通用网络限制 | 更低延迟、更高带宽,适合细粒度通信 |
| 典型并行 | 数据并行、部分流水并行、AI 词典:AllReduce">AllReduce | 张量并行、专家并行、大规模集合通信 |
| 扩展方式 | 加节点,靠网络横向扩展 | 先扩域内,再连多个超节点 |
| 代价 | 网络灵活、生态成熟 | 交换和布线复杂,故障影响面更大 |
对 AI 从业者,选训练框架和并行策略时,要问“通信域有多大”:张量并行、专家并行越细,越依赖超节点;跨超节点通信要尽量少。对普通人或职场人,看 AI 算力别只数 GPU 张数,还要看它们怎么连。同样的卡数,超节点和普通以太网集群的有效算力可能差很多。具体支持规模、拓扑和带宽以厂商官方页面为准。
