The Decoder· Jonathan Kemper·· 10 天前
Co-Design Bench基准显示AI编码智能体近四分之三任务需人工清理,顶尖模型完全正确率仅26.4%
AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
SI 导读
Alibaba等研究者提出Co-Design Bench基准,基于真实用户请求测试十款编码智能体,最佳模型GPT-6 Astra仅26.4%任务完全正确,近四分之三需人工清理。相较旧基准近满分,新基准暴露模型在交织需求与不同运行环境下的表现落差,建议模型与环境成对评估。
SI 评分60
来源:The Decoder · the-decoder.com