벤치마크 방법론과 결과
TokenWatt의 176개 과제 코딩 벤치마크에서 라우팅된 요청은 여러 차례의 실행에서 과제의 96–100%를 해결했고, 비용은 모든 요청을 Opus로 보낼 때보다 56–70% 적었습니다. 현재 라우터인 라우팅 v3는 첫 실행에서 176개 중 176개를 해결했고, 비용은 $0.77로 Opus 단독 비용 $2.56의 30%였습니다.
측정 주체. TokenWatt는 CodeRouter와 같은 팀이 운영하는 측정 프로젝트이므로, 이 벤치마크는 독립적인 벤치마크가 아닙니다. 그래서 방법, 모든 집계 결과, 한계를 이 페이지에 공개하고, 수치를 JSON으로 내려받을 수 있게 했습니다.
방법
- 과제. 단일 파일 Python 과제 176개로, Exercism 연습 문제와 Aider polyglot 벤치마크의 하드 세트로 구성됩니다.
- 한 번 시도, 한 번 재시도. 모델은 지시문과 스텁 파일을 보고 파일 전체를 반환합니다. 그다음 과제의 테스트를 실행합니다. 실패하면 모델은 실패한 테스트 출력을 받아 한 번 재시도합니다.
- 채점. "첫 시도"는 재시도 없이 테스트를 통과한 경우이고, "해결" 또는 "1회 재시도 포함"은 최대 한 번의 재시도 후 통과한 경우입니다.
- 비용. 2026-11-05에 확인한 공급자 정가(DeepSeek은 피크 시간대 가격)를 재시도를 포함한 각 요청의 기록된 토큰에 적용했습니다.
- 기준선. 모든 요청을 Claude Opus 5.5로 보냈습니다. 재시도를 포함해 176개 중 176개를 해결했고, 비용은 $2.56입니다. "56–70% 적은 비용"은 이 기준선과 비교한 값입니다.
라우터별 결과
| 실행 | 시기 | 해결 | 첫 시도 | 비용 | Opus 단독 대비 |
|---|---|---|---|---|---|
| Opus 단독 기준선 | — | 176/176 | — | $2.56 | 100% |
| 이전 라우터, 3회 실행 | 2026년 10월 | 96.0%–97.7% | — | Opus 단독 비용의 41–44% | 56–59% 낮음 |
| 라우팅 v3, 첫 실행 | 2026-11-04 | 176/176 | 88.6% | $0.77 | 30%(70% 낮음) |
라우팅 v3의 동작 방식은 다음과 같습니다. 요청마다 작은 판단 모델(TypeSafe의 Jev)이 최신 메시지와 최신 도구 출력으로 이루어진 짧은 발췌문을 읽고, 코딩 단계, 과제 난이도, 직전 턴의 실패 여부를 판단합니다. 그다음 코드가 티어를 고릅니다. 티어는 Claude Haiku 5.5(대체 모델 DeepSeek Chat), Kimi K2.6, Claude Sonnet 5.5, Claude Opus 5.5입니다. 과제를 처리할 수 있는 가장 저렴한 티어에서 시작하고, 테스트나 오류로 실패가 확인될 때만 한 단계 위 티어로 올립니다.
같은 과제로 측정한 모델별 결과
2026-11-03에 각 모델을 CodeRouter의 프로덕션 경로로 직접 호출해 같은 과제를 풀게 했으며, 모델당 1회 실행했습니다. Kimi K3.1 Pro 요청 1건에서 오류가 발생해, 매트릭스 비교에는 175개 과제를 사용했습니다.
| 모델 | 첫 시도 | 1회 재시도 포함 | 총비용(재시도 포함) |
|---|---|---|---|
| Claude Opus 5.5 | 98.3% | 100.0% | $2.61 |
| Claude Sonnet 5.5 | 93.7% | 100.0% | $1.48 |
| Kimi K2.6 | 86.9% | 94.9% | $0.57 |
| Claude Haiku 5.5 | 72.0% | 93.7% | $0.15 |
| DeepSeek Chat | 70.3% | 80.6% | $0.11 |
| DeepSeek V4 Pro | 68.6% | 78.9% | $0.36 |
| Kimi K3.1 Pro | 67.4% | 90.9% | $1.67 |
| GLM-5.3 | 62.3% | 89.1% | $0.99 |
두 가지가 눈에 띕니다. 첫째, 재시도는 저렴한 모델일수록 효과가 큽니다. Claude Haiku 5.5는 72.0%에서 93.7%로 올라갑니다. 라우팅이 저렴한 모델에서 시작해 실패하면 상위 티어로 올리는 이유입니다. 둘째, 이 과제들에서는 가격으로 품질을 예측할 수 없습니다. 더 비싼 모델 중 일부는 더 저렴한 모델보다 해결한 과제가 적었습니다.
더 단순한 전략과 라우팅 비교
| 전략 | 해결 | 비용 | 과제 수 |
|---|---|---|---|
| 모든 요청에 Opus 5.5 | 100.0% | $2.61 | 175(매트릭스) |
| 모든 요청에 Sonnet 5.5 | 100.0% | $1.48 | 175(매트릭스) |
| 라우팅 v3, 첫 실행 | 100.0% | $0.77 | 176(별도 실행) |
| 저렴한 모델부터 시도하는 캐스케이드: DeepSeek Chat, Kimi K2.6, Claude Sonnet 5.5 순으로 시도하고, 테스트 실패 시 다음 모델로 전환 | 97.1% | $0.49 | 175 |
| 오라클: 각 과제를 통과하는 가장 저렴한 모델을 사후에 고른 것입니다. 하한선이며, 실제로 동작하는 라우터가 할 수 있는 방식은 아닙니다. | 99.4% | $0.29 | 175 |
이 과제들에서는 단순한 저가 우선 캐스케이드가 라우팅 v3보다 저렴했고($0.49 vs $0.77), 해결률은 약간 낮았습니다(97.1% vs 100.0%). 이 벤치마크는 캐스케이드에 유리합니다. 모든 과제에 언제 상위 모델로 올려야 하는지 정확히 알려 주는 테스트가 있고, 턴이 짧아서 다른 모델로 다시 시작해도 비용이 거의 들지 않기 때문입니다. 긴 코딩 에이전트 세션에서는 모델을 바꾸면 프롬프트 캐시를 잃습니다. 그래서 라우팅 v3는 세션을 한 모델에 유지하고, 컨텍스트가 30k 토큰 이상이면 두 번 실패해야 상위 티어로 올립니다. 이 벤치마크는 그 부분을 측정하지 않습니다.
오라클은 결과를 알고 난 뒤 각 과제를 통과하는 가장 저렴한 모델을 고릅니다. 실제로 동작하는 라우터는 이렇게 할 수 없으며, 오라클은 개선 여지가 얼마나 남았는지를 보여 줍니다.
한계
- 단일 파일 Python 과제만 포함합니다.
- 공개된 과제이므로 모델이 학습 중에 이미 봤을 수 있습니다.
- 매트릭스는 모델당 1회 실행, 라우팅 v3도 1회 실행입니다.
- 긴 코딩 에이전트 세션과 달리, 프롬프트 캐시 비용이 없는 짧은 컨텍스트의 단일 턴 과제입니다.
- CodeRouter와 같은 팀이 운영하는 TokenWatt가 측정했습니다.
실제 절감 폭은 계획, 구현, 디버깅, 수정 작업의 비중과 캐시 적중률에 따라 달라집니다. 단일 요청에 대해서는 CodeRouter 대시보드가 비용과 함께 같은 토큰을 Opus 정가로 계산한 추정치를 보여 줍니다. 코딩 에이전트 세션에는 절감액을 표시하지 않습니다. 더 강한 모델은 같은 작업을 다른 단계 수로 처리하므로, 같은 토큰을 Opus 가격으로 계산한 값은 모든 요청을 Opus로 처리한 세션의 비용이 아니기 때문입니다. 벤치마크 과제가 아닌 실제 개발자별 사용량은 Claude Code 요금 페이지에 있는 저희 팀의 수치를 참고하십시오. 그 수치는 저희 팀이 정가 기준으로 실제로 쓴 금액이며, 같은 작업을 단일 모델로 했을 때의 비용이 아닙니다. 실제 실행 결과인 이 페이지의 Opus 단독 기준선과 달리, 일상적인 트래픽을 단일 모델 가격으로 다시 계산해서는 그 비용을 알 수 없습니다. 모델이 다르면 필요한 단계 수도 다르기 때문입니다.
날짜와 데이터
- 이전 라우터, 3회 실행: 2026년 10월.
- 모델 매트릭스: 2026-11-03.
- 라우팅 v3, 첫 실행: 2026-11-04.
- 집계 결과 JSON(과제별 데이터 없음): https://www.coderouter.io/benchmarks/coderouter-176-2026-11.json. 같은 파일의
team_usage_2026_05_09아래에 저희 팀의 개발자별 지출(정가 기준)이 있습니다(2026-11-07 정정, 파일의corrected를 참고하십시오).