ベンチマークの手法と結果
TokenWatt の 176 タスクのコーディングベンチマークでは、複数回の実行を通じて、ルーティングしたリクエストがタスクの 96〜100% を解き、コストはすべてのリクエストを Opus に送る場合より 56〜70% 低くなりました。現在のルーターであるルーティング v3 は、初回の実行で 176 件中 176 件を $0.77 で解きました。これは Opus のみのコスト $2.56 の 30% です。
計測したのは誰か。TokenWatt は CodeRouter と同じチームによる計測プロジェクトなので、これは独立したベンチマークではありません。だからこそ、手法、すべての集計値、制限事項をこのページに載せ、数値をJSON でダウンロードできるようにしています。
手法
- タスク。176 件の単一ファイルの Python タスクです。Exercism の課題と、Aider の polyglot ベンチマークのハードセットを使っています。
- 1 回の試行と 1 回の再試行。モデルは指示とスタブファイルを受け取り、ファイル全体を返します。その後タスクのテストを実行し、失敗した場合は失敗したテストの出力を付けて 1 回だけ再試行します。
- 採点。「初回」は再試行なしでテストに合格したこと、「解決」または「再試行 1 回まで」は最大 1 回の再試行の後に合格したことを意味します。
- コスト。2026年11月5日に確認した各プロバイダーの定価（DeepSeek はピーク時間帯の価格）を、再試行を含む各リクエストの記録済みトークンに適用しています。
- ベースライン。すべてのリクエストを Claude Opus 5.5 に送ったもので、再試行込みで 176 件中 176 件を解き、コストは $2.56 でした。「56〜70% 減」はこれと比べた値です。
ルーター別の結果
| 実行 | 時期 | 解決 | 初回 | コスト | Opus のみとの比較 |
|---|---|---|---|---|---|
| Opus のみのベースライン | — | 176/176 | — | $2.56 | 100% |
| 以前のルーター（3 回の実行） | 2026年10月 | 96.0%–97.7% | — | Opus のみの 41〜44% | 56〜59% 減 |
| ルーティング v3（初回の実行） | 2026-11-04 | 176/176 | 88.6% | $0.77 | 30%（70% 減） |
ルーティング v3 の仕組みは次のとおりです。リクエストごとに、小さな判定モデル（TypeSafe の Jev）が短い抜粋（最新のメッセージと最新のツール出力）を読み、コーディングのフェーズ、タスクの難しさ、直前のターンが失敗したかどうかを判定します。続いてコードがティアを選びます。ティアは Claude Haiku 5.5（代替は DeepSeek Chat）、Kimi K2.6、Claude Sonnet 5.5、Claude Opus 5.5 です。タスクを処理できる最も安いティアから始め、テストやエラーが失敗を示したときだけ 1 つ上のティアに上がります。
同じタスクでの全モデルの結果
2026-11-03 に、各モデルを CodeRouter の本番経路を通じて同じタスクで直接呼び出しました。実行はモデルごとに 1 回です。Kimi K3.1 Pro のリクエストが 1 件エラーになったため、比較表には 175 タスクを使っています。
| モデル | 初回 | 再試行 1 回まで | 総コスト（再試行込み） |
|---|---|---|---|
| Claude Opus 5.5 | 98.3% | 100.0% | $2.61 |
| Claude Sonnet 5.5 | 93.7% | 100.0% | $1.48 |
| Kimi K2.6 | 86.9% | 94.9% | $0.57 |
| Claude Haiku 5.5 | 72.0% | 93.7% | $0.15 |
| DeepSeek Chat | 70.3% | 80.6% | $0.11 |
| DeepSeek V4 Pro | 68.6% | 78.9% | $0.36 |
| Kimi K3.1 Pro | 67.4% | 90.9% | $1.67 |
| GLM-5.3 | 62.3% | 89.1% | $0.99 |
目立つ点が 2 つあります。再試行の効果が最も大きいのは安価なモデルで、Claude Haiku 5.5 は 72.0% から 93.7% に上がります。ルーティングが安いモデルから始めて失敗時にエスカレーションするのはこのためです。また、これらのタスクでは価格は品質の目安になりません。より高価なモデルの一部は、安価なモデルより解いたタスクが少なくなりました。
より単純な戦略とルーティングの比較
| 戦略 | 解決 | コスト | タスク数 |
|---|---|---|---|
| すべて Opus 5.5 | 100.0% | $2.61 | 175（比較表） |
| すべて Sonnet 5.5 | 100.0% | $1.48 | 175（比較表） |
| ルーティング v3（初回の実行） | 100.0% | $0.77 | 176（別の実行） |
| 安い順のカスケード：DeepSeek Chat、Kimi K2.6、Claude Sonnet 5.5 の順に使い、テストに失敗したらエスカレーションします。 | 97.1% | $0.49 | 175 |
| オラクル：各タスクに合格する最も安いモデルを事後に選びます。下限値であり、実際に稼働するルーターにできることではありません。 | 99.4% | $0.29 | 175 |
これらのタスクでは、単純な安い順のカスケードのほうがルーティング v3 より安く（$0.49 対 $0.77）、解いた割合はわずかに低くなりました（97.1% 対 100.0%）。このベンチマークはカスケードに向いています。どのタスクにもエスカレーションすべきタイミングを正確に示すテストがあり、ターンも短いため、別のモデルでやり直してもコストはほとんどかかりません。長いコーディングエージェントのセッションでは、モデルを切り替えるとプロンプトキャッシュが失われます。そのためルーティング v3 はセッションを 1 つのモデルに固定し、コンテキストが 30k トークン以上のときは 2 回失敗してから上位に移ります。この点はこのベンチマークでは計測していません。
オラクルは、結果を見たうえで各タスクに合格する最も安いモデルを選びます。実際に稼働するルーターにはできないことで、改善の余地がどれだけ残っているかを示しています。
制限事項
- 単一ファイルの Python タスクのみです。
- 公開タスクのため、モデルが学習時に見ている可能性があります。
- 比較表はモデルごとに 1 回の実行、ルーティング v3 も 1 回の実行です。
- シングルターンで短いコンテキストのため、プロンプトキャッシュのコストがかかりません。長いコーディングエージェントのセッションとは異なります。
- 計測は TokenWatt によるもので、TokenWatt は CodeRouter と同じチームが運営しています。
実際の節約額は、計画・実装・デバッグ・編集の比率と、キャッシュヒット率によって変わります。単発のリクエストについては、CodeRouter のダッシュボードにコストと、同じトークンを Opus の定価で計算した推定額を並べて表示します。コーディングエージェントのセッションには節約額を表示しません。より強いモデルは同じ作業を異なるステップ数でこなすため、同じトークンを Opus の価格で計算しても、すべて Opus で動かしたセッションの費用にはならないからです。ベンチマークのタスクではなく実際の開発者あたりの使用量については、Claude Code の料金ページで当社チームの数値をご覧ください。あちらは当社チームが定価ベースで実際に使った金額で、同じ作業を単一のモデルで行った場合の費用ではありません。ここでの Opus のみのベースラインは実際に実行したものですが、日々のトラフィックを単一のモデルの価格で計算し直しても、その費用はわかりません。モデルが違えば必要なステップ数も違うためです。
日付とデータ
- 以前のルーター、3 回の実行：2026年10月。
- モデル比較表：2026-11-03。
- ルーティング v3、初回の実行：2026-11-04。
- 集計値の JSON（タスクごとのデータは含みません）：https://www.coderouter.io/benchmarks/coderouter-176-2026-11.json。同じファイルの
team_usage_2026_05_09には、当社チームの開発者あたりの支出（定価ベース）も入っています（2026-11-07 訂正。ファイル内のcorrectedを参照してください）。