Latent Space·· 1 小时前
DeepSeek开源DeepInfer生产推理栈，单集群日处理155T token
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
SI 导读
DeepSeek开源生产推理栈DeepInfer，披露单集群日处理155T token与超80%推理利润率。该栈支持分布式推理、投机解码与长时KV缓存，vLLM团队复现其解码吞吐差距在6%内。
精选SI 评分78
推荐理由
DeepSeek开源DeepInfer推理引擎并披露单集群日处理155T token数据，读者可对比vLLM等现有开源栈评估推理经济性。
来源：Latent Space · latent.space