https://jaehun.me/tags/model-routing/Recent content in Model Routing on Jaehun's BlogHugoko-krSat, 10 Oct 2026 09:26:52 +0900https://jaehun.me/posts/paper-2610-12242v1/Sat, 10 Oct 2026 00:00:00 +0900https://jaehun.me/posts/paper-2610-12242v1/<p><a href="https://arxiv.org/abs/2610.12242v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="tokenrouter-토큰-단위-llm-라우팅을-위한-효율적-서빙-시스템">TokenRouter: 토큰 단위 LLM 라우팅을 위한 효율적 서빙 시스템<a href="#tokenrouter-%ed%86%a0%ed%81%b0-%eb%8b%a8%ec%9c%84-llm-%eb%9d%bc%ec%9a%b0%ed%8c%85%ec%9d%84-%ec%9c%84%ed%95%9c-%ed%9a%a8%ec%9c%a8%ec%a0%81-%ec%84%9c%eb%b9%99-%ec%8b%9c%ec%8a%a4%ed%85%9c" class="heading-anchor" aria-label="이 섹션에 대한 링크"></a></h2> <blockquote class="border-primary bg-muted/30 hover:bg-muted/40 my-6 rounded-r-lg border-l-4 py-4 pr-4 pl-6 italic transition-all duration-200 ease-out hover:translate-x-1" > <div class="prose prose-sm max-w-none"> <p><strong>TL;DR</strong> — LLM을 세션·쿼리 단위가 아니라 <em>토큰 단위</em>로 라우팅하면 비용-품질 파레토 프론티어를 크게 끌어올릴 수 있지만, 단일 LLM 가정에 묶인 기존 서빙 스택(vLLM, SGLang)에서는 스텝 탈동기화·배치 수용 지연·구현 복잡성 때문에 실용화가 어려웠다. TokenRouter는 &ldquo;요청 중심 프로그래밍, 모델 중심 실행&quot;이라는 원칙 아래 비동기 서브서버와 지연 배칭(delayed batching) 스케줄러를 도입해, 다섯 가지 라우팅 알고리즘과 여러 모델 쌍에서 기존 구현 대비 <strong>2.01–64.15배</strong>의 디코딩 처리량을 달성한다 (근거: §Abstract, §1).</p>