NVIDIA 开发者博客发布技术文章，介绍如何借助开源推理引擎 vLLM，把 GLM-5.3 的推理服务部署到两台 NVIDIA DGX 系统上跨节点运行，并给出 607.8 tok/s 的吞吐数据。标题直接指向一个现实问题：当单台 GPU 服务器不足以承载目标模型与服务指标时，如何把推理负载扩展到多台 DGX 之上。
为什么重要
其一，单机显存与算力上限正成为大模型上线的常见约束。模型规模、上下文长度与并发请求共同推高资源需求，跨节点切分已从“可选优化”变为“必要选项”。vLLM 是广泛采用的开源推理引擎，它在多节点场景下的实际表现，直接影响不少团队的部署选型。
其二，607.8 tok/s 这类端到端吞吐指标比单卡基准更贴近生产视角，它同时反映并行策略、节点间通信开销与请求调度的综合结果，而不是某一环节的峰值性能。
其三，DGX 是 NVIDIA 面向大规模 AI 计算的整机平台。两台 DGX 之间的跨节点推理服务，涉及节点互联与推理框架的协同配合，是“多机推理”能否真正落地的一环。
需要说明的是，该数字来自 NVIDIA 官方开发者博客的单一测试场景，具体的模型配置、硬件规格、并行方式与测试条件均以原文为准；实际业务吞吐会随输入输出长度、并发度与网络状况变化。对正在评估多机推理方案的团队来说，这篇文章提供了一个可参考的工程样本：用成熟推理框架把跨节点服务跑通，并公开可对照的吞吐数字。