IT之家·· 13 天前
华为昇腾宣布 0 Day 支持 Kimi K3.1 Pro 推理部署,2.8 万亿级 MoE 模型能力再进阶
华为宣布昇腾 0 Day 支持 Kimi K3.1 Pro 推理部署,2.8 万亿级 MoE 模型能力再进阶
SI 导读
华为昇腾基于 vLLM Ascend 与 SGLang 实现 Kimi K3.1 Pro 的 0 Day 推理适配,支持 Atlas 800 A3 等硬件部署这一 2.8 万亿参数 MoE 模型。该模型具备百万 token 上下文与视觉理解,昇腾优化稀疏注意力等算子支撑长上下文推理。此次适配依托 K3 经验提前完成,模型发布首日即可部署验证。
SI 评分63
来源:IT之家 · ithome.com