量子位· 闻乐·· 2026-10-09
字节 Seed 团队揭示 DeepSeek-V4 性能波动源于分块 KV Cache 压缩
字节找到了DeepSeek时强时弱的原因
SI 导读
字节 Seed 团队发现 DeepSeek-V4 的检索准确率随输入位置每 4 个 Token 周期性变化,128K 长上下文测试中最大差距达 40.2 个百分点。研究证实该现象源于分块 KV Cache 压缩技术导致的“相位敏感性”,不同压缩步长对应不同波动周期。尽管后训练能缩小差距,但团队指出常规 Benchmark 难以检测此类位置偏差,需针对特定相位进行专项评估。
SI 评分36
来源:量子位 · qbitai.com