热点事件持续更新
研究显示编码Agent框架差异主要源于噪声
1 篇报道1 个报道来源3 小时前更新
先了解这件事
SI 综述
Liu与Han对比Claude Code、OpenCode与mini-SWE-agent在SWE-bench Verified上的表现,发现三种代码智能体框架性能差距多在噪声内,但成本最高相差三倍。 仅OpenCode在大型任务池上落后最多9点,因其输出限制等问题。研究者建议每次harness对比都附相同设置重跑以区分噪声。
SI 根据报道生成 · 2 小时前更新
最新进展10月24日 17:21
Liu与Han发布研究,称三种代码智能体框架性能差距多属噪声但成本差三倍。报道时间线
沿着报道,了解事件的不同侧面。
10月24日
- The Decoder研究对比Claude Code等三种代码智能体框架:更贵但不更好,性能差距多属噪声
Liu与Han的研究对比Claude Code、OpenCode和mini-SWE-agent三种代码智能体框架在SWE-bench Verified上的表现,发现性能差距多在噪声内但成本最高差三倍。仅OpenCode在大型任务池上落后最多9点,因其输出限制等问题。研究者建议每次harness对比都附相同设置重跑以区分噪声。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。