With-Muse-Spark-1-3-Contributor-Free

Cache-Aware Joint Router Adaptation for Memory-Efficient MoE Inference

논문 링크 캐시를 배우는 라우터 : 메모리-제약 MoE 추론을 위한 Cache-Aware Joint Router Adaptation한 줄 요약 (TL;DR)MoE의 진짜 병목은 연산량이 아니라 전문가 가중치 이동량이다 라는 문제의식에서 출발해, 네이티 …