Back to Blog

OpenRouter Auto Code 对比 CodeRouter:99 道编程 Agent 任务实测,完成率相近,每个完成任务的花费约一半

2026-11-10·4 min read·CodeRouter Team

说明: CodeRouter 是我们的产品。OpenRouter Auto Code 是同类的竞品路由;我们和普通客户一样,通过 OpenRouter 的公开 API 调用它。

2026 年 11 月 12 日更新:自 11 月 11 日起,CodeRouter 按模型标价计费、不加价,购买额度时另收 5.5% 支付手续费(充 $20 付 $21.10)。下文“用户实际付的钱”按测试当天 CodeRouter 的价格(标价 +8%)计算;按标价计的数字不受影响。当前价格见定价。

11 月 6 日,OpenRouter 发布了面向编程 agent 的路由 Auto Code,并公布结果:在 Deep SWE、Terminal Bench 4.0 等五个基准上,Auto Code"得分与 Claude Opus 5.5 相当,每个任务的成本低 74%"。

我们把 Auto Code、我们自己的路由和三个单模型对照组放在同样的 99 道真实仓库任务上,每题跑 2 次,容器全程不能联网。在我们的设置里,Auto Code 的完成率接近 Opus,花费也接近 Opus:每题花费是全程 Opus 的 1.00 倍。

这篇是我们的开发记录:测了什么、我们的路由输在哪里、我们认为原因是什么,以及接下来改什么。方法和数据都公开,任何人都可以核对或重跑。

结果

99 题 × 2 次 = 每组 198 次会话。agent 改完代码后仓库的测试通过,才算完成。区间均为 95%。花费按 2026 年 11 月 9 日的标价计算。

组 完成 完成率(95% 区间) 每题花费 每个完成任务的花费
全程 Claude Opus 5.5 130/198 65.7%(56.6–74.7%) $0.247 $0.376
OpenRouter Auto Code 125/198 63.1%(54.0–72.2%) $0.246 $0.390
全程 Claude Sonnet 5.5 118/198 59.6%(50.5–68.7%) $0.094 $0.158
CodeRouter 默认路由 117/198 59.1%(50.0–68.2%) $0.115 $0.194
全程 Claude Haiku 5.5 111/198 56.1%(47.0–65.2%) $0.010 $0.017

用户实际付的钱略有不同:CodeRouter 按模型标价 +8% 收费,OpenRouter 在购买额度时收 5.5% 的平台费。算上这些,CodeRouter 每题 $0.124(每个完成任务 $0.209),Auto Code 每题 $0.260($0.412)。三个 Claude 单模型组按标价计。

CodeRouter 对比 Auto Code

同一道题、同一次运行配对比较:

Auto Code 为什么和 Opus 一样贵:看它用了哪些模型。它的 2,918 个请求分给了 GPT-6.1 Sol(1,235 个,$21.96)、Claude Opus 5.5(1,001 个,$19.77)、Kimi K3.1 Pro(386 个,$5.43)、GLM-5.3(268 个,$1.07)和 Gemini 4 Argon(28 个,$0.56)。198 次会话里,第一个请求落在 GPT-6.1 Sol 的有 92 次,落在 Opus 的有 84 次。提示缓存经 OpenRouter 照样有效:Auto Code 的输入里 90% 来自缓存读取,和其他组(89–92%)相当,尽管它有 19 次会话中途换过模型。

我们的结果为什么和 OpenRouter 的不同:测试框架、题目、日期都不同。OpenRouter 的数字来自它自己的五个基准;我们的来自一个 agent(mini-swe-agent,只有 bash 工具)在 Python 仓库任务上的表现,而且 Auto Code 的路由会随时间变化。我们不是说 OpenRouter 的数字在它的基准上不对,而是在我们的基准上没有看到更低的花费。

CodeRouter 输在哪里

两个我们不喜欢、但都写在表里的结果:

  1. 对全程 Opus:完成率低 6.6 个百分点(区间 −11.6 到 −2.0,p = 0.011),花费是 0.46 倍。所以编程 agent 会话不能说"Opus 的质量、更低的价格":在这个基准上,这句话不成立。
  2. 对全程 Sonnet:完成率相同(−0.5 个百分点,区间 −5.1 到 +4.0),标价花费高 22%(1.22 倍,区间 1.06–1.40 倍)。

数据里能看到的是:我们这一组的大部分会话跑在 Sonnet 5.5 上。198 次会话里有 196 次从 Sonnet 开始,2,071 个请求里 1,834 个由 Sonnet 处理。有 24 次会话升到了 Opus,但这些升级没有带来更多完成:在同样的题目和同一次运行里,这 24 次会话做出 9 次,而全程 Sonnet 做出 12 次,全程 Opus 13 次。Opus 只处理了 229 个请求,却花了 $5.94,约占这一组花费的四分之一(26%)。也就是说,换到 Opus 的那些会话付了 Opus 的价钱,完成的任务却没有比只用 Sonnet 多。

还有一个发现:Sonnet 5.5 有时交上来的不是补丁本身,而是 cat patch.txt | wc -l(行数)或 | head -20 的输出。这种情况出现了 10 次,全程 Sonnet 5 次,CodeRouter 5 次(都由 Sonnet 处理),其他组没有出现过。按规则算没完成。即使把这 10 次都算作完成(这是上限),Sonnet 是 62.1%,CodeRouter 是 61.6%,仍然低于 Opus。

接下来改什么

我们会持续优化路由策略和算法;本文是 2026 年 11 月 9 日运行的那个版本的快照。

下一步,我们在同样的 99 道题上测试一个修订后的路由策略。它的规则,以及怎么和这次的结果比较,都在运行之前写进了一份注明日期的内部文档。无论结果如何,我们都会公布。在那之前,默认路由不变。

怎么测的

检查

局限

数据

结果页(英文)有所有表格、配对比较、两次之间的波动、两个路由各用了哪些模型,以及每一次被拦截的下载尝试。可以下载汇总 JSON和逐会话 CSV(990 行:题目 × 组 × 次数,含是否完成、花费、步数和 token 数)。不公开 agent 轨迹。英文原文:OpenRouter Auto Code vs CodeRouter on 99 coding-agent tasks。

Try phase-aware routing on your own workload

One base URL for Claude Code, Cursor or Aider. Free trial, no credit card.

Start free trial

Get weekly AI cost optimization tips

Join developers cutting their agent bills