Cache-Aware Joint Router Adaptation for Memory-Efficient MoE Inference

Wed, 09 Sep 2026 00:00:00 +0900

논문 링크

캐시를 배우는 라우터 : 메모리-제약 MoE 추론을 위한 Cache-Aware Joint Router Adaptation

한 줄 요약 (TL;DR)

MoE의 진짜 병목은 연산량이 아니라 전문가 가중치 이동량이다 라는 문제의식에서 출발해, 네이티브 Top- $K$ 선택 규칙은 그대로 두면서 캐시 상주 우선순위 자체를 포스트-트레이닝으로 학습하는 Temporal Router 와 Spatio-Temporal Router 를 제안한 연구이다 (근거: §1) . Qwen3-30B-A3B-Instruct-2507 기준 Temporal 단일 모드는 고전적 교체 정책 대비 적중률 +10.46~+33.34 %p , 트래픽 -28.0~-79.9 % 감소를 무추가 선행 로드( $P=0$ MB/token ) 로 달성했고, 전체 모드는 최강 프리페치 베이스라인 ProMoE 대비 조정 적중률 +1.15~+18.03 %p , 토큰당 로드 -4.6~-53.3 % 를 기록했다 (근거: Tab.1, §4.2) .

2609.04895v1 on Jaehun's Blog

Cache-Aware Joint Router Adaptation for Memory-Efficient MoE Inference

캐시를 배우는 라우터 : 메모리-제약 MoE 추론을 위한 Cache-Aware Joint Router Adaptation

한 줄 요약 (TL;DR)