NVIDIA Blog· Vishal Ganeriwala·· 16 天前
NVIDIA 详解 DSX 平台:同功率预算下 token 吞吐提升 24%
From Megawatts to Tokens: How NVIDIA Maximizes AI Factory Production
SI 导读
NVIDIA 在 AI Infra Summit 上介绍 DSX 平台,其中 DSX MaxLPS 在 Lambda 的 HGX B200 集群上完成首次验证:19 个节点以 85% 功率运行,达到与 16 节点满功率相同的功率预算,集群 token 吞吐提升 24%(约 400 万 token/秒升至 500 万),每瓦性能提升 23%。
精选SI 评分62
推荐理由
原文给出 DSX MaxLPS 在 Lambda 集群的实测数字与 DSX Flex 的电网响应案例,可据此判断同功率预算下的吞吐提升空间。
来源:NVIDIA Blog · blogs.nvidia.com