IT之家·· 5 天前
玩家用停产傲腾内存无显卡跑通 2.8 万亿参数 Kimi K3
不用显卡:玩家靠停产傲腾内存跑通 2.8 万亿参数 Kimi K3 AI 模型,每秒输出 1.5 词元
SI 导读
网友利用停产的英特尔傲腾持久内存,在无显卡环境下成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。该配置基于 40 核至强处理器,使用 llama.cpp 进行推理,1 比特量化下输出速度达每秒 1.5 个词元。此前该模型主要依赖 GPU 集群,此次验证了非易失性内存替代方案的可能性。
SI 评分41
来源:IT之家 · ithome.com