ALTK-Evolve：学习记忆如何助客服智能体在无前沿模型下登顶 τ²-bench 榜单

ALTK-Evolve 使用 GPT-4.1 学习并应用一套操作手册，在客服智能体基准测试 τ²-bench 上超越了零售类条目——且无需更新模型权重。

学习到的记忆让基于 GPT-4.1 的基础 ReAct 智能体登顶

使用 GPT-4.1（一个较旧的、非推理型模型），一个基础的客服智能体在 τ²-bench 零售任务上达到 67.5% 的 Pass^4 —— 这意味着在 67.5% 的任务中，它在全部四次独立尝试中均成功解决了任务。其得分高于我们 2026 年 10 月 12 日排行榜快照中的所有零售条目。它运行在基准测试自带的 ReAct 框架上，并在其系统提示词中附加了学习到的指南。

ALTK-Evolve 使用 GPT-4.1 构建该操作手册。 它分析智能体在训练任务上的尝试，并利用该模型将成功与失败提炼为简短的行为规则：如何验证客户身份、确认交易或处理退货。随后，这些指南被添加到智能体的提示词中，用于后续的对话。同一个模型既驱动指南提取，也驱动智能体本身；无需更新权重或人工标注。

我们的 先前工作 已在编码智能体上验证了这一方法。在此，我们在客服领域对其进行测试，该领域的成功需要遵循领域策略、理解客户请求并执行正确的工具操作。

τ²-bench 测试受策略约束的客服

τ²-bench（来自 Sierra）衡量智能体在真实约束下处理客服对话的能力。每个任务将智能体与一个由 LLM 模拟的客户配对，该客户有明确的目标、一组领域工具（如查询订单、发放退款、重新预订航班），以及一份智能体必须遵循的书面策略文档。智能体必须提取正确的细节、保持在策略范围内，并执行正确的——往往不可逆的——操作；只有当最终数据库状态与预期结果匹配时，任务才被视为解决，这是一种严格的二元奖励。我们使用其两个客服领域：零售和航空。

我们运行 τ²-bench 自带的基础 ReAct 智能体实现，采用两阶段 THINK → ACT 循环，使用 gpt-4.1 作为智能体模型，gpt-5.5 作为客户模拟器模型；每个任务进行 4 次试验。我们唯一的改动 是在系统提示词末尾附加一段学习到的指南——其余一切（策略、工具、框架）均为 τ²-bench 原版。具体而言，学习到的指南以纯 Markdown 列表的形式附加在领域策略之后：

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

我们使用 gpt-4.1（即驱动智能体的同一模型）从智能体在 τ²-bench 训练任务上的轨迹中提取指南，然后在保留的 测试集上原样应用这些指南。

指南提升能力与可靠性

在前一篇帖子中，我们讨论了不同的模型/任务需要不同剂量的指导。基于这一理念，我们也评估了提供给模型的不同数量的指南。

每条指南都带有一个 support（支持度）计数——即提取该指南所依据的不同训练任务数量，因此较高的 support 意味着该规则在更多任务上具有泛化性，而非仅适用于单一任务。我们比较了三种配置：baseline（无指南）、sup3（仅保留 support ≥ 3 的指南——一个小型高置信度核心集）以及 lossless（保留整合后保留的所有指南，即 support ≥ 1）。

表 1. 各领域的指南配置及保留的指南数量。

我们跟踪的指标。 每个任务尝试 4 次，我们从两个角度解读这些试验：

• Mean Accuracy（平均准确率）—— 4 次试验中的平均成功率。这是 capability（能力）维度：智能体多久能正确完成一次？
• Pass^4—— 在全部 4 次试验中通过的任务百分比。这衡量的是 reliability（可靠性）维度，也是 τ²-bench 排行榜报告的指标。这一点很重要，因为如果一个支持智能体在 4 次中有 3 次解决了退款问题，它仍然会让四分之一的真实客户感到失望——Pass^4 询问的是你是否能 每次 都信任该智能体，而不仅仅是平均表现。

图 1. 使用 gpt-4.1 的智能体在保留的零售和航空任务上的 Mean Accuracy 和 Pass^4 表现，每个任务进行四次试验。

智能体模型：gpt-4.1（用户模拟器：gpt-5.5）。

表 2. 使用 gpt-4.1 的保留智能体性能，每个任务进行四次试验。括号内显示相对于 baseline 的百分点变化。

两个领域的 Mean Accuracy 均有所提升——零售 +4.4 分（78.1 → 82.5），航空 +7.5 分（57.5 → 65.0）。可靠性提升幅度更大：严格的 Pass^4 在零售领域上升 +10 分（57.5 → 67.5），在航空领域上升 +10 分（35.0 → 45.0）。而且这些收益来自更明智的决策，而非更长的对话——我们在下文 更好的性能消耗更多令牌，而非更多轮次 中直接考察了对话长度。

最佳指导量取决于领域

这两个领域对多少指导能带来收益存在分歧。在零售领域，更多指导在所有指标上表现更好——小型 sup3 核心集在准确率上仅略胜 baseline，你需要完整的 lossless 集合才能实现真正的飞跃。在航空领域，情况在可靠性端发生反转：lossless 在准确率上领先（65% 对 60%），但紧凑的sup3 核心集（14 条指南）更具可靠性，将 Pass^4 提升至45%，而 lossless 为 40%。呼应了之前关于交付是一个旋钮，而非常数的发现，support 计数是一个值得按领域调整的旋钮，而不是一个硬编码的值。

更好的性能消耗更多令牌，而非更多轮次

指南并非免费，但成本落在你预期的地方——在提示输入令牌上，而不是在更长、更迂回的对话中：

图 2. 在完整基础划分上，按领域和指南配置划分的每次对话总 LLM 成本。

表 3. 在完整基础划分上，四次试验中每次对话的总 LLM 成本（智能体和用户模拟器）。越低越好。

智能体是通过更长的对话达成目标的吗？为了清晰地回答这个问题，我们进行了同条件对比：在基线和指南变体下均解决的任务运行——相同的场景和种子，一个真正的“相同任务，正确完成”集合——并统计每一侧的助手轮次。

表 4. 在测试划分上，针对在两种设置下均解决的匹配运行，每次对话的助手轮次，汇集四次试验。

智能体并没有进行更长的对话——在共享集合上，指南使对话略微变短：无损配置在两个领域都减少了约 0.3–0.4 轮（零售 10.59 → 10.16，航空 9.15 → 8.82），且没有变体使对话变长。这比成本更重要：每一轮都是一次顺序的 LLM 往返，因此更少的轮次意味着更低的端到端延迟——更快的完成时间，对客户而言不仅是更便宜，而是更快。唯一的实际代价在输入端——每次 LLM 调用都携带的更大的系统提示：零售的 292 条指南提示将每次对话的成本从约 $0.084 推高到约 $0.139，而航空较小的剧本更便宜。在生产环境中，即使这部分也大部分可以通过提示缓存回收，因为指南块在每次调用中都是相同的。

因此，这种权衡是有利的：以略高的输入成本（其中大部分在实际中会被缓存掉）为代价，智能体同时实现了更高的准确率、更高的可靠性，以及更低的完成时间——这不是通常的质量与延迟之间的权衡，而是三者同时向正确的方向移动。

学习到的指南也能改进使用前沿模型的智能体

到目前为止，我们使用的是一个较旧的、非推理模型——gpt-4.1。一个合理的反对意见是，学习到的指南对使用前沿模型的智能体可能没有太多可补充之处：也许它们只是修补较弱模型的缺陷。因此我们直接进行了测试——我们在相同的 τ²-bench ReAct 脚手架上，使用gpt-5.5 作为智能体和指南提取重新运行了航空任务，指南是从智能体自身的运行中重新挖掘的。模型改变了一个细节：在此设置中提取的指南均未达到支持度 ≥ 3（最高支持度为 2），因此这里的高支持度核心是sup2 而不是 sup3。

表 5. gpt-5.5 智能体在航空任务上的留出集表现，每个任务四次试验。

学习到的指南也提升了这一配置的表现。在相同的留出测试任务上，将它们附加到提示中可将准确率提升 10 分（72.5 → 82.5），并将严格的Pass^4 提升 15 分（55.0 → 70.0）——这比我们在这些任务上使用 gpt-4.1 观察到的可靠性增益（+10 分）更大，且起点要高得多。在模型周围学习指南，即使从更强的基础开始，也能改进智能体。并且，当基线在多次运行间的可靠性波动时，无损配置完全复现了结果——它带来的增益是可靠的，而非侥幸。

ALTK-Evolve 在排行榜对比中位居榜首

提交结果在完整基础划分（训练 ∪ 测试）上评分，如 τ²-bench 要求，并按Pass^4报告。由于这涵盖了完整任务集而非留出测试划分，这些数字与上文报告的测试任务数字不同。这正是实际成效显现之处——提示级记忆使使用每个基础模型的智能体进入或超越当前前沿公司：

• 零售：第 1 名。在基础划分上，带有学习指南的智能体达到Pass^4 = 67.5%，领先于所有前沿模型以及RAFT-30B-A3B（61.4%），后者是一个在合成 τ²-bench 零售数据上微调的模型。使用原版 gpt-4.1 和附加到提示中的手册，它比该微调系统高出6.1 分。
• 航空：使用 gpt-5.5 第 1 名，使用 gpt-4.1 第 8 名 对照已发布的排行榜，紧凑的sup3 核心使使用 gpt-4.1 的智能体达到Pass^4 = 44%——第 8 名，击败 GPT-5.2（无推理）并几乎匹敌 Claude Sonnet 4.5。换用更强的基础模型，同样的方法直接位居榜首：使用 gpt-5.5 的智能体达到 82.0%，超过所有前沿条目（66–72%）。

图 3. ALTK-Evolve 运行与 2026 年 10 月 12 日 τ²-bench 排行榜快照的 Pass^4 对比。

在两个领域中信息一致：在模型周围学习指南适用于不同的基础模型——使使用较旧、非推理模型的智能体在零售领域进入前沿行列，并使使用前沿模型的智能体在航空领域登顶。

智能体无需更新权重即可改进

在基准上微调模型成本高、脆弱，且无法迁移到下一个领域。在这里，ALTK-Evolve 在两个领域都改进了使用原版模型的智能体——并在零售领域匹敌或击败微调系统——仅使用从智能体自身运行中提取的提示级指南，自动完成，无需人工标注，且无测试集泄漏。

链接：

• Prior posts
  1. Thinking of ACE? We Can Do It with Fewer Tokens
  2. 你的智能体实际需要多少内存？
• ALTK-Evolve 库 — https://github.com/AgentToolkit/altk-evolve
• τ²-bench — https://github.com/sierra-research/tau2-bench
• 零售排行榜提交 — τ²-bench PR #542
• 航空排行榜提交 - τ²-bench PR #551