Mixture-of-Experts on Jaehun's Blog

The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction

Fri, 18 Sep 2026 00:00:00 +0900

논문 링크

SSD에 산 MoE를 깨우다: 24 GB 데스크톱에서 35B MoE를 20 tok/s로 서빙하는 Edge0

한 줄 요약 (TL;DR)

35B급 MoE는 4-bit로도 19.5 GB 를 차지해 24 GB 머신에 상주하지 못한다 (근거: §1). Edge0는 엑스퍼트 가중치를 SSD에 두고 mmap 스트리밍으로 읽되, 다음 레이어 라우팅을 한 토큰 앞서 예측하는 프리라우터(prerouter)로 디스크 지연을 컴퓨트 뒤에 숨기고, 그 예측 자체를 라우팅으로 소비해 드롭을 없애며, int4 + 라우팅 교체 손실을 병합하지 않은(unmerged) 복구 LoRA로 되갚는다 (근거: §3.2, §3.3). 결과는 Mac mini M4 Pro 24 GB 에서 35B 티어 20.4 tok/s , 피크 활성 메모리 2.9 GiB , fp16 교사 대비 평균 3.9 포인트 갭이다 (근거: Tab.1, Tab.2).

Cache-Aware Joint Router Adaptation for Memory-Efficient MoE Inference

Wed, 09 Sep 2026 00:00:00 +0900

논문 링크

캐시를 배우는 라우터 : 메모리-제약 MoE 추론을 위한 Cache-Aware Joint Router Adaptation

한 줄 요약 (TL;DR)

MoE의 진짜 병목은 연산량이 아니라 전문가 가중치 이동량이다 라는 문제의식에서 출발해, 네이티브 Top- $K$ 선택 규칙은 그대로 두면서 캐시 상주 우선순위 자체를 포스트-트레이닝으로 학습하는 Temporal Router 와 Spatio-Temporal Router 를 제안한 연구이다 (근거: §1) . Qwen3-30B-A3B-Instruct-2507 기준 Temporal 단일 모드는 고전적 교체 정책 대비 적중률 +10.46~+33.34 %p , 트래픽 -28.0~-79.9 % 감소를 무추가 선행 로드( $P=0$ MB/token ) 로 달성했고, 전체 모드는 최강 프리페치 베이스라인 ProMoE 대비 조정 적중률 +1.15~+18.03 %p , 토큰당 로드 -4.6~-53.3 % 를 기록했다 (근거: Tab.1, §4.2) .

SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers

Mon, 07 Sep 2026 00:00:00 +0900

논문 링크

SMELT: 계산량을 맞춘 MoE 루프 트랜스포머의 스케일링 법칙

한 줄 요약 (TL;DR)

루프 트랜스포머는 레이어 블록을 반복 실행해 깊이를 늘리지만, 기존 연구는 대부분 파라미터 수만 고정한 채 FLOPs를 늘려 “공짜 점수"를 얻고 있었다. SMELT는 per-token FLOPs·총 파라미터·KV 캐시 세 예산을 동시에 맞추고도 루핑이 순수한 아키텍처 이득임을 증명한다(근거: §1). 그 결과 compute-optimal 프론티어에서 6.8~18.0%의 학습 FLOPs를 절약하고, 이 이득은 검증 손실이 예측하는 것보다 다운스트림에서 더 크게 나타난다(근거: §4.3, §5.1).