跳到正文
原文
Mistral AI·· 2026-01-22

Heaps do lie:排查 vLLM 内存泄漏

Heaps do lie: debugging a memory leak in vLLM.

SI 导读

Mistral AI 团队在 vLLM 上排查一起内存泄漏:在 Mistral Medium 3.1、开启 graph compilation 的 Prefill/Decode 分离部署下,系统内存以每分钟 400 MB 线性增长,数小时后触发 out of memory。Memray、Guppy 3 均未发现异常,Heaptrack 显示堆内存稳定但峰值 RSS 存在差异,说明泄漏发生在堆之外。

SI 评分34

来源:Mistral AI · mistral.ai

© 2026 SI·Hot · Super Intelligence Hot · 超级智能热点 · 网站数据均来源于网络公开资料,版权归来源方所有