Hugging Face Blog·· 2026-08-10
Hugging Face 提出离线 Top-K Logits 与融合分块 KL 损失，让知识蒸馏低成本跑在大规模场景
Making Knowledge Distillation Cheap Enough to Run at Scale
SI 导读
Hugging Face 最新论文提出两项系统改动，让大语言模型知识蒸馏的训练成本大幅下降：一是离线缓存教师模型的 top-100 logits，训练时无需再加载教师模型；二是融合分块 KL 损失，避免生成完整的词表×序列长度矩阵。
SI 评分46
来源：Hugging Face Blog · huggingface.co