TokenEconomizer 利用仓库历史会话降低 AI 编码智能体 token 成本
TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient
TokenEconomizer 利用代码仓库中的历史会话降低 AI 编码智能体 token 成本,是来自 UC Berkeley、Microsoft Research 和 Microsoft Security 的开源插件。
研究给出了利用仓库历史会话降低 AI 编码智能体 token 成本的方法,并在 277 个真实缺陷修复任务中报告成本下降且成功率大体稳定。

概览
- 开发者日复一日地在相同的代码库中使用 AI 编码智能体,但智能体往往每次会话都从零开始:重新发现已知事实、加载未使用的工具,并重复失败的尝试。
- TokenEconomizer 是一个开源插件,它通过从智能体在特定仓库中的过往会话中学习,来减少未来会话中的浪费,同时不修改智能体或其底层模型。
- 在 277 个真实的 bug 修复任务中,TokenEconomizer 在多个 AI 编码智能体上将成本降低了 18.4–30.9%。在测试的所有仓库中成本均有所下降,而任务成功率保持总体稳定。
AI 编码智能体正越来越多地帮助开发者独立修复 bug 和构建功能,但与它们的模型进行的每次交互都会消耗 令牌。在每次会话中,智能体都会向模型发送指令、工具描述和会话历史。大多数降低此成本的努力都集中在单个任务上。然而,开发者会返回相同的仓库,这为智能体提供了从先前工作中学习的机会。如果没有这种学习,智能体可能会反复重新发现如何运行测试、加载它从不使用的工具,或花费数十个回合反复查看同一个错误。
在我们的论文 TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents 中,我们提出了一个简单的问题:在仓库中的经验能否帮助智能体更高效地解决未来的任务?TokenEconomizer 是来自加州大学伯克利分校、微软研究院和微软安全部门的开源插件,它将已完成的会话转化为后续会话的指导。它在不改变智能体或其底层模型的情况下减少浪费,因此开发者可以将其与他们已经依赖的编码智能体一起使用。

令牌流向何处
我们首先对 Claude Code 进行了剖析,使用 SWE-Bench(一个包含开源 Python 项目中真实 bug 修复的基准测试)中的 60 个任务,按顺序运行每个仓库的任务。三种类型的浪费反复出现:
- 重新发现相同的事实。当一个仓库积累了至少五个已完成的任务后,30% 的工具调用重复了该仓库中早期任务的某个操作。只有 7% 与另一个仓库历史中的操作匹配。
- 为未使用的工具付费。智能体在每一轮都接收 23 个工具描述,但其中 16 个从未被调用。
- 在失败中陷入困境。17% 的失败任务占用了 32% 的开销。
我们还测试了三个流行的开源插件,每个都围绕固定的成本节省策略构建。每个插件在某些仓库中降低了成本,但在其他仓库中则没有。综合这些发现表明,有效的成本控制必须适应仓库,而不是在所有地方应用相同的策略。
TokenEconomizer 的工作原理
在每次会话之后,TokenEconomizer 读取会话日志并更新它对仓库的了解。然后,它通过三种机制发挥作用,仅使用智能体已经提供的接口,如图 2 所示。
微技能 以单行笔记的形式捕获特定于仓库的知识。TokenEconomizer 识别跨会话的重复模式并提出相应的笔记。只有在多个会话确认该模式后,这些笔记才会被添加到智能体的初始上下文中,如果后续证据与之矛盾,则会弃用该笔记。
工具剪枝会移除仓库历史表明代理不太可能使用的工具,同时始终保留用于运行命令和编辑文件的核心工具。如有需要,被移除的工具可以恢复。
失败循环干预会监控持续遭遇相同失败的代理。一个裁判模型决定代理是真正卡住了还是仍在取得进展。如果卡住了,代理会收到一条建议采用不同方法的简短提示。在开源插件中,如果代理在收到提示后仍然卡住,TokenEconomizer 会提醒开发者,而不是自行停止工作。

该控制器旨在随着新证据的出现来修订其决策。报告的节省也计入了 TokenEconomizer 自身模型调用的成本。
在每个仓库中节省成本
我们在来自六个仓库的 277 个 SWE-Bench 任务上评估了 TokenEconomizer,使用了五种不同的 AI 编码代理和模型组合。对于每个仓库,TokenEconomizer 在没有先前会话历史的情况下开始。
如图 3 所示,TokenEconomizer 将平均成本降低了 18.4–30.9%,并在所有 30 个仓库-组合对中节省了最多的成本,且没有性能损失。相比之下,降低模型的推理努力节省了相似或更多的成本,但导致了显著的性能下降。

随着经验的积累,节省效果会增长。在 TokenEconomizer 学习期间,早期任务可能会花费更多,但如图 4 所示,到第六个任务时,每个仓库的累计成本都低于默认值。每种机制都能独立贡献节省,而结合所有三种机制能带来最大的减少。

节省效果也延续到了顺序 Web 开发,在 Web-Bench 上成本降低了 16.0–21.2%。在安全审计中,由于每个任务都在一个新仓库中,成本降低了 6.4–19.6%。
展望未来
TokenEconomizer 开辟了一条通往编码代理的路径,这些代理不仅学习如何解决问题,还学习如何更有效地消耗计算资源。其轻量级控制器展示了经验如何在不改变底层代理或模型的情况下提高效率。
开源插件使这些方向对开发者和研究人员变得易于获取。它旨在与现有的 AI 编码代理协同运行,而不修改其底层模型,不需要自己的 API 密钥,并将学到的内容保留在开发者的机器上。我们邀请社区将其作为探索随着经验变得更加资源丰富的代理的起点,这些代理不仅适应它们知道什么,还适应它们如何工作。
在新标签页中打开
文章 TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient 首发于 Microsoft Research。
来源:Microsoft Research · microsoft.com