IT之家·· 6 小时前
寒武纪完成商汤 SenseNova Loop-9B Day 0 适配
寒武纪 Day 0 完成商汤 SenseNova Loop-9B 适配,打通新型循环计算架构推理链路
SI 导读
寒武纪宣布完成商汤 SenseNova Loop-9B 的 Day 0 适配,基于 vllm_mlu 打通 MLU 平台推理链路。该模型通过 Loop 结构将 32 层扩展为 56 次计算,4bit 量化后权重约 4.9GB,部署显存需求低至 10GB 内。此次适配紧随商汤昨日发布该模型,旨在降低本地与私有化部署门槛。
SI 评分32
来源:IT之家 · ithome.com