TokenRouter: Efficient Serving System for Token-Level LLM Routing
논문 링크 TokenRouter: 토큰 단위 LLM 라우팅을 위한 효율적 서빙 시스템 TL;DR — LLM을 세션·쿼리 단위가 아니라 토큰 단위로 라우팅하면 비용-품질 파레토 프론티어를 크게 끌어올릴 수 있지만, 단일 LLM 가정에 묶인 기존 서빙 스 …
20분
Efficient Inference
LLM Inference
Large Language Models
Mixture of Experts
Transformer
Model Routing