Hugging Face 将 Nunchaku 4-bit 扩散推理引入 Diffusers
Hugging Face 在 Diffusers 中引入 Nunchaku Lite,可直接用 from_pretrained() 加载 Nunchaku 风格的 4-bit 量化 checkpoint,无需自定义 pipeline 或本地 CUDA 编译。
推荐理由:原文给出了 Nunchaku Lite 在 Diffusers 中的加载方式与实测延迟和显存数据,读者可据此判断消费级 GPU 跑扩散模型的实际收益。