SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers

Mon, 07 Sep 2026 00:00:00 +0900

논문 링크

SMELT: 계산량을 맞춘 MoE 루프 트랜스포머의 스케일링 법칙

한 줄 요약 (TL;DR)

루프 트랜스포머는 레이어 블록을 반복 실행해 깊이를 늘리지만, 기존 연구는 대부분 파라미터 수만 고정한 채 FLOPs를 늘려 “공짜 점수"를 얻고 있었다. SMELT는 per-token FLOPs·총 파라미터·KV 캐시 세 예산을 동시에 맞추고도 루핑이 순수한 아키텍처 이득임을 증명한다(근거: §1). 그 결과 compute-optimal 프론티어에서 6.8~18.0%의 학습 FLOPs를 절약하고, 이 이득은 검증 손실이 예측하는 것보다 다운스트림에서 더 크게 나타난다(근거: §4.3, §5.1).

2609.01343 on Jaehun's Blog

SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers

SMELT: 계산량을 맞춘 MoE 루프 트랜스포머의 스케일링 법칙

한 줄 요약 (TL;DR)