说明: CodeRouter 是我们的产品。OpenRouter Auto Code 是同类的竞品路由;我们和普通客户一样,通过 OpenRouter 的公开 API 调用它。
2026 年 11 月 12 日更新:自 11 月 11 日起,CodeRouter 按模型标价计费、不加价,购买额度时另收 5.5% 支付手续费(充 $20 付 $21.10)。下文“用户实际付的钱”按测试当天 CodeRouter 的价格(标价 +8%)计算;按标价计的数字不受影响。当前价格见定价。
11 月 6 日,OpenRouter 发布了面向编程 agent 的路由 Auto Code,并公布结果:在 Deep SWE、Terminal Bench 4.0 等五个基准上,Auto Code"得分与 Claude Opus 5.5 相当,每个任务的成本低 74%"。
我们把 Auto Code、我们自己的路由和三个单模型对照组放在同样的 99 道真实仓库任务上,每题跑 2 次,容器全程不能联网。在我们的设置里,Auto Code 的完成率接近 Opus,花费也接近 Opus:每题花费是全程 Opus 的 1.00 倍。
这篇是我们的开发记录:测了什么、我们的路由输在哪里、我们认为原因是什么,以及接下来改什么。方法和数据都公开,任何人都可以核对或重跑。
结果
99 题 × 2 次 = 每组 198 次会话。agent 改完代码后仓库的测试通过,才算完成。区间均为 95%。花费按 2026 年 11 月 9 日的标价计算。
| 组 | 完成 | 完成率(95% 区间) | 每题花费 | 每个完成任务的花费 |
|---|---|---|---|---|
| 全程 Claude Opus 5.5 | 130/198 | 65.7%(56.6–74.7%) | $0.247 | $0.376 |
| OpenRouter Auto Code | 125/198 | 63.1%(54.0–72.2%) | $0.246 | $0.390 |
| 全程 Claude Sonnet 5.5 | 118/198 | 59.6%(50.5–68.7%) | $0.094 | $0.158 |
| CodeRouter 默认路由 | 117/198 | 59.1%(50.0–68.2%) | $0.115 | $0.194 |
| 全程 Claude Haiku 5.5 | 111/198 | 56.1%(47.0–65.2%) | $0.010 | $0.017 |
- 全程 Opus 完成率最高:65.7%,每题 $0.247。
- Auto Code:63.1%,每题 $0.246,和 Opus 一样(1.00 倍,区间 0.91–1.10 倍)。完成率和 Opus 的差别在误差范围内(−2.5 个百分点,p = 0.46)。
- CodeRouter:59.1%,每题 $0.115(Opus 的 0.46 倍)。比 Opus 少 6.6 个百分点,这个差别在统计上显著(p = 0.011)。
- 全程 Sonnet:59.6%,每题 $0.094。 CodeRouter 的完成率和它相同,花费却高 22%。在这个基准上,我们的路由没有赢过"直接用 Sonnet"。
- 全程 Haiku:56.1%,每题 $0.010。
用户实际付的钱略有不同:CodeRouter 按模型标价 +8% 收费,OpenRouter 在购买额度时收 5.5% 的平台费。算上这些,CodeRouter 每题 $0.124(每个完成任务 $0.209),Auto Code 每题 $0.260($0.412)。三个 Claude 单模型组按标价计。
CodeRouter 对比 Auto Code
同一道题、同一次运行配对比较:
- 完成率:Auto Code 多完成 4.0 个百分点(63.1% 对 59.1%)。95% 区间从"Auto Code 多 10.1 个百分点"到"CodeRouter 多 2.0 个百分点"(p = 0.18)。在 99 道题上,说不出谁完成得更多。
- 每题花费:按标价,CodeRouter 是 Auto Code 的 0.46 倍(区间 0.39–0.56 倍);算上各自的费用是 0.48 倍。
- 每个完成任务的花费:按标价 $0.194 对 $0.390(0.50 倍);算上费用 $0.209 对 $0.412(0.51 倍)。
Auto Code 为什么和 Opus 一样贵:看它用了哪些模型。它的 2,918 个请求分给了 GPT-6.1 Sol(1,235 个,$21.96)、Claude Opus 5.5(1,001 个,$19.77)、Kimi K3.1 Pro(386 个,$5.43)、GLM-5.3(268 个,$1.07)和 Gemini 4 Argon(28 个,$0.56)。198 次会话里,第一个请求落在 GPT-6.1 Sol 的有 92 次,落在 Opus 的有 84 次。提示缓存经 OpenRouter 照样有效:Auto Code 的输入里 90% 来自缓存读取,和其他组(89–92%)相当,尽管它有 19 次会话中途换过模型。
我们的结果为什么和 OpenRouter 的不同:测试框架、题目、日期都不同。OpenRouter 的数字来自它自己的五个基准;我们的来自一个 agent(mini-swe-agent,只有 bash 工具)在 Python 仓库任务上的表现,而且 Auto Code 的路由会随时间变化。我们不是说 OpenRouter 的数字在它的基准上不对,而是在我们的基准上没有看到更低的花费。
CodeRouter 输在哪里
两个我们不喜欢、但都写在表里的结果:
- 对全程 Opus:完成率低 6.6 个百分点(区间 −11.6 到 −2.0,p = 0.011),花费是 0.46 倍。所以编程 agent 会话不能说"Opus 的质量、更低的价格":在这个基准上,这句话不成立。
- 对全程 Sonnet:完成率相同(−0.5 个百分点,区间 −5.1 到 +4.0),标价花费高 22%(1.22 倍,区间 1.06–1.40 倍)。
数据里能看到的是:我们这一组的大部分会话跑在 Sonnet 5.5 上。198 次会话里有 196 次从 Sonnet 开始,2,071 个请求里 1,834 个由 Sonnet 处理。有 24 次会话升到了 Opus,但这些升级没有带来更多完成:在同样的题目和同一次运行里,这 24 次会话做出 9 次,而全程 Sonnet 做出 12 次,全程 Opus 13 次。Opus 只处理了 229 个请求,却花了 $5.94,约占这一组花费的四分之一(26%)。也就是说,换到 Opus 的那些会话付了 Opus 的价钱,完成的任务却没有比只用 Sonnet 多。
还有一个发现:Sonnet 5.5 有时交上来的不是补丁本身,而是 cat patch.txt | wc -l(行数)或 | head -20 的输出。这种情况出现了 10 次,全程 Sonnet 5 次,CodeRouter 5 次(都由 Sonnet 处理),其他组没有出现过。按规则算没完成。即使把这 10 次都算作完成(这是上限),Sonnet 是 62.1%,CodeRouter 是 61.6%,仍然低于 Opus。
接下来改什么
我们会持续优化路由策略和算法;本文是 2026 年 11 月 9 日运行的那个版本的快照。
下一步,我们在同样的 99 道题上测试一个修订后的路由策略。它的规则,以及怎么和这次的结果比较,都在运行之前写进了一份注明日期的内部文档。无论结果如何,我们都会公布。在那之前,默认路由不变。
怎么测的
- 题目:SWE-rebench 2026_03 分片(nebius/SWE-rebench-leaderboard,CC BY 4.0),都是 Python 仓库里真实的 pull request,创建于 2026 年 3 月 1 日到 5 月 12 日。主分析用 70 个仓库的 99 道题(见下面的检查)。
- Agent:mini-swe-agent 2.4.6,只有 bash 工具,SWE-bench 提示词不改。各组之间只有模型名(和接口地址)不同。每次会话的限制:150 步、$2.50、60 分钟、每条命令 60 秒、
max_tokens8,192。 - 各组怎么调用:全程 Opus / Sonnet / Haiku 每个请求都指定模型,经 CodeRouter 的直通路径(不路由、不备用;花费按 token × Anthropic 标价算,走哪条路都一样)。CodeRouter 默认组 = 生产环境 API 上的
model: auto,和普通用户拿到的一样。Auto Code = 经 OpenRouter API 调用openrouter/auto-code,花费取 OpenRouter 每个请求返回的金额。Auto Code 自己选推理强度,其他组用各模型的默认设置。 - 运行:每组每题跑 2 次,相隔约一小时,两次之间不会共用提示缓存。五组交错运行。
- 评测:swebench 5.0.2 评测框架,加上 SWE-rebench 的评测设置。
- 花费:每个请求的输入、缓存读取、缓存写入和输出 token × 标价,按会话加总。
- 机器:一台租用的云虚拟机,只用来跑容器。本文不涉及这台机器本身的任何性能数据。
检查
- 断网:所有容器都不能联网,包括 agent 的和评测的。一共拦截了 306,628 个向外的包,其中 agent 容器 95,311 个,几乎都是测试代码和 pip 发起的 DNS 查询。有 7 次会话执行过下载本题软件包或上游源码的命令,全部被拦截。
- 官方修复:断网后,每道题的官方修复要 3 次评测都通过,空改动必须不通过。我们跑的 108 道题里有 9 道没过(8 道的部分测试本身要联网,1 道有一个启动本地服务的测试偶发失败),剩下 99 道。把其中 8 道去掉联网测试后重新评分,排序不变:Opus 66.4%、Auto Code 64.0%、Sonnet 59.8%、CodeRouter 59.8%、Haiku 55.6%。
- 背题:990 个提交的补丁里,0 个和官方修复完全相同。
- 评测出错:0 次。
局限
- 只用了一个 agent 框架,而且只有 bash 工具。Claude Code、Codex、Cursor 的工具和提示词不同,结果可能不一样。
- 99 道 Python 题,创建于 2026 年 3–5 月。Claude Opus 5.5 公布的知识截止日期(2026 年 6 月)在这之后,所以无法证明没有模型见过这些修复。
- 每题 2 次。两组之间的配对差别大约要到 5–6 个百分点才能和误差区分开;单组完成率的区间约 ±9 个百分点。
- 跑过的题里有 9 道因为断网后官方修复都过不了而被去掉。
- 标价按 2026 年 11 月 9 日。模型、价格和路由都会变;模型更新后结果可能变化。
- Auto Code 按请求选模型,路由会随时间变化。这是某一天的表现。
数据
结果页(英文)有所有表格、配对比较、两次之间的波动、两个路由各用了哪些模型,以及每一次被拦截的下载尝试。可以下载汇总 JSON和逐会话 CSV(990 行:题目 × 组 × 次数,含是否完成、花费、步数和 token 数)。不公开 agent 轨迹。英文原文:OpenRouter Auto Code vs CodeRouter on 99 coding-agent tasks。