IT之家·· 12 天前
英伟达破局 AI 内存瓶颈:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍
SI 导读
英伟达发布技术解读,提出“全栈协同设计”以破解 AI 内存瓶颈,通过 NVFP4 压缩及分层存储优化数据流动。在 Vera Rubin NVL72 系统中,每美元智能体吞吐量较 GB300 NVL72 最高提升 30 倍,而每 GPU 的 HBM 容量仅增加约 3%。此前 GB300 NVL72 较 H200 平台每美元吞吐量最高提升 10 倍,显示竞争焦点正转向单位资源的有效 token 产出。
SI 评分46
来源:IT之家 · ithome.com