The Decoder· Jonathan Kemper·· 4 小时前
研究对比Claude Code等三种代码智能体框架:更贵但不更好,性能差距多属噪声
Fancy harnesses make coding agents more expensive but not better, study finds
SI 导读
Liu与Han的研究对比Claude Code、OpenCode和mini-SWE-agent三种代码智能体框架在SWE-bench Verified上的表现,发现性能差距多在噪声内但成本最高差三倍。仅OpenCode在大型任务池上落后最多9点,因其输出限制等问题。研究者建议每次harness对比都附相同设置重跑以区分噪声。
SI 评分73
来源:The Decoder · the-decoder.com