ALTK-Evolve：无需前沿模型，靠学习到的记忆登顶 τ²-bench 客服任务榜

ALTK-Evolve 使用 GPT-4.1 学习并应用一套操作手册，在客户服务智能体基准 τ²-bench 上超越了所有零售条目——且无需更新模型权重。

学习到的记忆让使用 GPT-4.1 的基础 ReAct 智能体登顶

使用 GPT-4.1——一个较老的非推理模型——一个基础客户服务智能体在τ²-bench 零售上达到 67.5% Pass^4——这意味着它在 67.5% 的任务上于全部四次独立尝试中均成功解题。其得分高于我们 2026 年 10 月 12 日排行榜快照中的每一个零售条目。它运行在基准自带的 ReAct 脚手架上，并将学习到的准则附加到其系统提示中。

ALTK-Evolve 使用 GPT-4.1 构建该操作手册。它分析智能体在训练任务上的尝试，并利用该模型将成功与失败提炼为简短的行为规则：如何验证客户身份、确认交易或处理退货。随后这些准则被添加到智能体的提示中，用于后续对话。同一个模型同时驱动准则提取和智能体；无需权重更新或人工标注。

我们之前的工作在编码智能体上展示了这种方法。在此，我们在客户服务场景中进行测试，该场景的成功需要遵循领域政策、理解客户请求并执行正确的工具操作。

τ²-bench 测试受政策约束的客户服务

τ²-bench（来自 Sierra）衡量智能体在真实约束下处理客户服务对话的能力。每个任务将智能体与一个由 LLM 模拟的客户配对，客户心中有一个目标，智能体拥有一组领域工具（查询订单、发放退款、改签航班）以及一份必须遵循的书面政策文档。智能体必须引出正确的细节、遵守政策并采取正确的——通常是不可逆的——操作；只有当最终数据库状态与预期结果匹配时，任务才算解决，这是一个严格的二元奖励。我们使用其两个客户服务领域：零售和航空。

我们运行 τ²-bench 自带的基础 ReAct 智能体实现，采用两阶段THINK → ACT循环，使用 gpt-4.1 作为智能体模型、gpt-5.5 作为客户模拟器模型；每个任务4 次试验。我们唯一的改动是在系统提示后附加一组学习到的准则——其他一切（政策、工具、脚手架）均为 τ²-bench 原版。具体而言，学习到的准则以纯 markdown 列表形式附加在领域政策之后：

You are a customer service agent that helps users according to the policy below.
Always follow the policy strictly. Use the provided tools when needed.

<policy>
# Retail agent policy

As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address
…
</policy>

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order-related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes (modify, cancel, return, exchange) with a clear, structured summary, and require explicit user approval before executing any database-updating action.
- When processing a return or exchange, communicate the refund with an itemized breakdown and clarify refund timing — don't wait for the user to ask.
- Take one action per step: never combine a tool call with a user-facing message in the same turn, and wait for the tool's result before replying.
- Before looking a user up, parse and clean their name — e.g. split a combined handle like `daiki_johnson_9523` into first/last name — and after a couple of failed lookups, state the exact format you need.
…

我们使用gpt-4.1——与驱动智能体相同的模型——从智能体在 τ²-bench 训练任务上的轨迹中提取准则，然后将其原样应用于留出的测试集。

准则提升能力与可靠性

在之前的文章中，我们讨论了不同模型/任务需要不同剂量的指导。与这一理念一致，我们还评估了向模型提供不同数量的准则。

每条指南都带有一个 support 计数——即它被提取自多少个不同的训练任务，因此 support 越高意味着该规则泛化到了更多任务，而非一次性规则。我们比较了三种配置：baseline（不含指南）、sup3（仅保留 support ≥ 3 的指南——一个小而高置信度的核心集），以及 lossless（保留合并后所有留存的指南，即 support ≥ 1）。

表 1. 指南配置及各领域保留的指南数量。

我们追踪的指标。 每个任务尝试 4 次，我们从两个角度解读这些试验：

• 平均准确率——4 次试验的平均成功率。这是能力维度：智能体有多大概率做对？
• Pass^4——在全部 4 次试验中都通过的任务百分比。这沿可靠性维度衡量，也是 τ²-bench 排行榜报告的指标。它在这里很重要，因为一个客服智能体即便每 4 次能解决 3 次退款，仍有四分之一的真实客户会失败——Pass^4 追问的是你能否每一次都信任该智能体，而不只是平均而言。

图 1. 使用 gpt-4.1 的智能体在留出零售和航空任务上、每个任务四次试验的平均准确率与 Pass^4。

智能体模型：gpt-4.1（用户模拟器：gpt-5.5）。

表 2. 使用 gpt-4.1 的智能体在留出任务上、每个任务四次试验的性能。括号内为相对 baseline 的百分点变化。

平均准确率在两个领域均有上升——零售 +4.4 个百分点（78.1 → 82.5），航空 +7.5 个百分点（57.5 → 65.0）。可靠性提升更大：严格的 Pass^4 在零售上升 +10 个百分点（57.5 → 67.5），在航空上升 +10 个百分点（35.0 → 45.0）。而且这些提升来自信息更充分的决策，而非更长的对话——我们在下文的 更好性能的代价是更多 token，而非更多轮次 中直接考察了对话长度。

最佳指南量取决于领域

两个领域在多少指南能带来收益上看法不一。在零售中，每个指标都是越多越好——小小的 sup3 核心集在准确率上仅略胜 baseline，需要完整的 lossless 集合才能实现真正的跃升。在航空中，图景在可靠性一端发生反转：lossless 在准确率上领先（65% 对 60%），但紧凑的 sup3 核心集（14 条指南）更加可靠，将 Pass^4 提升至 45%，而 lossless 为 40%。这呼应了此前的发现——投递量是一个旋钮，而非常量，support 计数是一个值得按领域调校的旋钮，而非硬编码的值。

更好性能的代价是更多 token，而非更多轮次

指南并非免费，但代价落在你预期的地方——提示输入 token，而非更长、更冗长的对话：

图 2. 在完整 base split 上，按领域和指南配置统计的每次对话总 LLM 成本。

表 3. 在完整 base split 上，跨四次试验的每次对话总 LLM 成本（agent 与用户模拟器）。越低越好。

agent 是通过说得更久来实现的吗？为干净地回答这个问题，我们做同类对比：取在 baseline 和指南变体两者下都解决的任务运行——场景与随机种子完全相同，构成真正的“同一任务、正确完成”集合——并统计两侧的 assistant 轮次。

表 4. 在 test split 上，两种设置下均解决的匹配运行中每次对话的 assistant 轮次，汇总四次试验。

agent 并没有说得更久——在共享集上，指南让对话略微更短：lossless 在两个领域都减少约 0.3–0.4 轮（retail 10.59 → 10.16，airline 9.15 → 8.82），且没有任何变体使其变长。这一点的影响不止于成本：每一轮都是一次顺序 LLM 往返，因此轮次更少意味着更低的端到端延迟——对客户而言更快的完成时间，而不只是更便宜。唯一的真正代价在输入侧——更大的 system prompt 附加在每次 LLM 调用上：retail 的 292 条指南提示将每次对话成本从约 $0.084 推高到约 $0.139，而 airline 的较小 playbook 则更便宜。在生产环境中，即便这部分也基本可以通过prompt caching 收回，因为指南块在每次调用中完全相同。

所以这笔交易是划算的：以略高的输入成本（实践中大部分被缓存抵消）为代价，agent 同时实现了更高的准确率、更高的可靠性以及更低的完成时间——这不是常见的以延迟换质量的取舍，而是三者同时朝正确方向移动。

学习到的指南也能改进使用前沿模型的 agent

到目前为止，我们使用的是较旧的、非推理模型——gpt-4.1。一个合理的反对意见是：学习到的指南对使用前沿模型的 agent 帮助可能更小：也许它们只是弥补较弱模型的短板。因此我们直接进行了测试——我们在相同的 τ²-bench ReAct scaffold 上，agent 和指南提取都使用 gpt-5.5，重新运行了 airline，并从 agent 自身的运行中重新挖掘指南。有一个细节随模型而变：此设置下提取的指南均未达到 support ≥ 3（最高为 support 2），因此这里的高支持核心是 sup2 而非 sup3。

表 5. gpt-5.5 agent 在每个任务四次试验中的留出 airline 性能。

学习到的准则同样能改善这一设置。在相同的留出测试任务上，将它们追加到提示中可使准确率提升 +10 个百分点（72.5 → 82.5），并将严格的 Pass^4 提升 +15 个百分点（55.0 → 70.0）——在这些任务上，这一可靠性提升比我们观察到的 gpt-4.1 带来的提升（+10 个百分点）更大，且起点高得多。在模型周围学习准则，即便智能体一开始就建立在更强的基座上，也能带来改善。而且，基线可靠性在不同重跑之间会波动，无损配置却能精确复现——它带来的增益是可靠的，而非侥幸。

ALTK-Evolve 在排行榜对比中位居榜首

提交结果按照 τ²-bench 的要求，在完整 base split（train ∪ test）上评分，并报告 Pass^4。由于覆盖的是完整任务集而非留出测试 split，这些数字与上文报告的测试任务数字不同。实际效果在这里显现——提示级记忆将使用各基础模型的智能体带入或超越当前前沿水平：

• Retail：第 1 名。 在 base split 上，配备学习准则的智能体达到 Pass^4 = 67.5%，领先于所有前沿模型，也领先于 RAFT-30B-A3B（61.4%）——后者是在合成 τ²-bench retail 数据上微调的模型。使用原版 gpt-4.1 并追加提示级 playbook，它比该微调系统高出 +6.1 个百分点。
• Airline：使用 gpt-5.5 排名第 1，使用 gpt-4.1 排名第 8 对比已公布的榜单，紧凑的 sup3 core 让使用 gpt-4.1 的智能体达到 Pass^4 = 44%——第 8 名，击败 GPT-5.2（无推理），几乎与 Claude Sonnet 4.5 持平。换成更强的基座后，同样的方法直接登顶：使用 gpt-5.5 的智能体达到 82.0%，超过所有前沿条目（66–72%）。

图 3. ALTK-Evolve 运行与 2026 年 10 月 12 日 τ²-bench 排行榜快照的 Pass^4 对比。

两个领域传递出同样的信息：在模型周围学习准则，可在不同基础模型上奏效——在 retail 上，让使用较旧的非推理模型的智能体跻身前沿之列；在 airline 上，让使用前沿模型的智能体登顶。

智能体无需权重更新即可改进

在基准上微调模型昂贵、脆弱，且无法迁移到下一个领域。而 ALTK-Evolve 在两个领域中都能改善基于原版模型的原版智能体——在 retail 上匹配或超越微调系统——仅使用从智能体自身运行中提取的提示级准则，自动完成，无需人工标注，也没有任何测试集泄漏。

链接：

• Prior posts
  1. 想到 ACE？我们能以更少的 token 做到
  2. 你的智能体实际需要多少记忆？
• ALTK-Evolve 库 — https://github.com/AgentToolkit/altk-evolve
• τ²-bench — https://github.com/sierra-research/tau2-bench
• Retail 排行榜提交 — τ²-bench PR #542
• Airline 排行榜提交 - τ²-bench PR #551