CONTINUUM AI(컨티뉴엄 AI)가 개발한 OpenAI 호환 LLM 게이트웨이인 OrcaRouter (https://www.orcarouter.ai/)가 요청마다 난이도를 평가해 적합한 모델로 보내는 자동 라우팅 (https://www.orcarouter.ai/solutions/adaptive-routing) 기술을 공개하고, 이를 정리한 논문을 arXiv에 게재했다고 밝혔다. 사용자가 모델을 직접 고르는 대신 ‘orcarouter/auto’ 엔드포인트 하나를 쓰면 라우터가 결정하는 구조다.

모델 선택이 비용 문제가 된 이유

같은 작업을 처리하는 데 쓸 수 있는 모델이 여러 개라면, 그중 무엇을 고르느냐가 비용을 좌우한다. OrcaRouter가 20시간 동안 실제 소프트웨어 엔지니어링 작업으로 진행한 FrontierSWE v2 측정에서 Claude Fable 5.1은 56.29%를 기록했고, GPT-5.6은 32.2%, GLM-5.3은 30.2%를 기록했다. 최상위 모델과 그 아래 모델의 격차는 크다.

문제는 반대 방향이다. 모든 요청에 최상위 모델을 쓰면 대부분의 요청에서 과잉 지출이 발생한다. 반대로 값싼 모델만 쓰면 어려운 요청에서 결과가 나오지 않는다. 요청마다 어느 쪽인지 판단하는 일이 필요해진다.

난이도로 등급을 매긴다

OrcaRouter의 라우팅 모델은 들어온 요청의 난이도를 평가하고, 그 등급에 따라 적합한 모델로 보낸다. 사용자는 후보 모델을 ‘orcarouter/auto’에 등록하기만 하면 되고, 개별 요청이 Flash급인지 Max급인지 프런티어급인지 판단하지 않아도 된다.

논문은 이 구조를 LinUCB 기반 컨텍스추얼 밴딧(contextual bandit)으로 정식화한다. 요청은 어휘적 특징과 문장 임베딩 특징으로 인코딩되고, 여기에 오프라인·온라인 혼합 학습 프로토콜이 결합된다. 오프라인 단계에서는 후보 모델들을 선별된 라우팅 프롬프트 집합에 대해 전부 평가해 완전 정보 피드백을 얻고, 그 보상 행렬로 모델별 리지 회귀를 적합한다. 배포 시점에는 이 파라미터에서 출발해, 선택적으로 밴딧 피드백으로부터 계속 학습한다. 이때 선택된 모델의 몫만 갱신된다.

캐시를 데워 둔 채로

라우팅에서 놓치기 쉬운 비용이 캐시다. 요청마다 모델을 바꾸면 앞선 대화의 캐시를 재사용하지 못하고 매번 다시 처리해야 한다. OrcaRouter는 캐시 인식 고정(Cache-Aware Stickiness)으로 캐시 지역성을 유지한다. 모델 사이를 불필요하게 오가지 않는다는 뜻이다.

세션이 어려워지면 올린다

대화는 시작할 때와 끝날 때의 난이도가 다르다. 단순한 질문으로 시작한 세션이 진행되면서 프런티어 수준의 추론을 요구하는 작업으로 발전할 수 있다. 프런티어 승격(Frontier Escalation)은 세션이 어려워지는 시점을 감지해 동적으로 상위 모델로 올린다. OrcaRouter는 이를 필요할 때만 프런티어 연산을 쓴다고 설명한다.

인프라 계층에서는 40개 이상 제공자를 하나의 엔드포인트로 묶고, 상태 인식 부하 분산으로 가용한 제공자에 트래픽을 나눈다. 채널별 상태·가중치·우선순위에 따라 응답하지 않는 상류는 자동으로 로테이션에서 빠진다.

공개 리더보드 성적

논문에 기재된 RouterArena 공개 리더보드 성적은 2026년 5월 20일 제출 시점 기준 2위, 아레나 점수 72.08, 75.54% 정확도를 1000 쿼리당 1.00달러에 달성한 것이다. 이는 약 4개월 전 스냅샷이며, 현재 순위는 달라졌을 수 있다.

논문은 Zhenghua Bao, Fengya Tian, Chris Zhang, Zhenjun Chen, Xile Ma, Yi Shi가 작성했으며, Continuum AI 소속으로 2026년 5월 29일 arXiv에 올라왔다.

주요 모델

OrcaRouter는 단일 API 키와 엔드포인트로 다음을 포함한 200개 이상의 모델을 제공한다.

· OpenAI GPT-5.5 (https://www.orcarouter.ai/ko/models/openai/gpt-5.5-2026-04-23)
· Anthropic Claude Fable 5.1 (https://www.orcarouter.ai/ko/models/anthropic/claude-fable-5.1)
· Google Gemini 3.8 Flash (https://www.orcarouter.ai/ko/models/google/gemini-3.8-flash)
· DeepSeek V4.1 Flash (https://www.orcarouter.ai/ko/models/deepseek/deepseek-v4.1-flash)
· xAI Grok 4.6 (https://www.orcarouter.ai/ko/models/grok/grok-4.6)
· Qwen 3.7 Max (https://www.orcarouter.ai/ko/models/qwen/qwen3.7-max)
· Z.ai GLM-5.3 (https://www.orcarouter.ai/ko/models/z-ai/glm-5.3)

참고

· OrcaRouter: A Production-Oriented LLM Router with Hybrid Offline-Online Learning (arXiv:2605.30736) (https://arxiv.org/html/2605.30736v1)
· 적응형 라우팅 (https://www.orcarouter.ai/solutions/adaptive-routing)
· 세션 고정 문서 (https://docs.orcarouter.ai/routing/session-affinity)
· 프런티어 승격 문서 (https://docs.orcarouter.ai/routing/frontier-escalation)
· OpenAI GPT-5.5 (https://www.orcarouter.ai/ko/models/openai/gpt-5.5-2026-04-23)
· Anthropic Claude Fable 5.1 (https://www.orcarouter.ai/ko/models/anthropic/claude-fable-5.1)
· xAI Grok 4.6 (https://www.orcarouter.ai/ko/models/grok/grok-4.6)
· OrcaRouter 웹사이트 (https://www.orcarouter.ai/)

OrcaRouter 소개

OrcaRouter는 OpenAI 호환 LLM 게이트웨이로, 200개가 넘는 모델에 걸쳐 라우팅하며 약 40%의 비용 절감, 1밀리초 미만의 라우팅 오버헤드, 0%의 토큰 마크업을 제공한다. 자체 호스팅 에디션인 OrcaRouter-Lite는 MIT 라이선스로 제공된다.

CONTINUUM AI PTE LTD 소개

Continuum AI Pte. Ltd.는 최첨단 AI를 개발자와 팀이 접근 가능하고 합리적인 비용으로 사용할 수 있도록 하기 위해 설립된 싱가포르 기반 기업이다. 단일 API 키와 엔드포인트를 통해 200개 이상의 선도적인 AI 모델에 대한 액세스를 제공하는 OpenAI 호환 AI Gateway인 OrcaRouter를 개발한 회사다. OrcaRouter는 약 40%의 비용 절감, 1ms 미만의 라우팅 오버헤드, 토큰 마크업 없음을 제공하며, MIT 라이선스로 출시된 자체 호스팅 버전(OrcaRouter-Lite)도 함께 제공한다.

언론연락처: OrcaRouter Koki Kobayashi

이 뉴스는 기업·기관·단체가 뉴스와이어를 통해 배포한 보도자료입니다.