IT之家·· 4 小时前
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,目标实现大模型普惠
SI 导读
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,并同步开源 deepseek-recipe 组件。该框架支持分布式推理、推测解码与结构化输出,兼容英伟达与华为昇腾平台,已支撑 DeepSeek V4.1 Flash 高吞吐低延迟服务,开源地址 https://github.com/deepseek-ai/DeepInfer。
SI 评分75
来源:IT之家 · ithome.com