On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction

Fri, 30 Oct 2026 00:00:00 +0900

논문 링크

확산 언어 모델은 ‘무엇을’과 ‘어디를’을 동시에 정해야 한다

확산 언어 모델은 마스크된 토큰을 여러 번 반복해서 채워가며 문장을 만든다. 정확하게 디코딩하려면 한 번의 모델 forward마다 가장 확실한 마스크 위치 하나만 토큰으로 확정해야 해서 느리고, 속도를 올리려고 한 번에 여러 위치를 확정하면 생성 품질이 떨어진다. 이 논문은 자동회귀 모델에서 검증된 무손실 가속 기법인 speculative decoding을 확산 언어 모델로 옮기되, 토큰이 아니라 어느 위치를 다음에 채울지라는 순서를 예측하는 데서 해법을 찾는다.

Diffusion Language Models on Jaehun's Blog

On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction

확산 언어 모델은 ‘무엇을’과 ‘어디를’을 동시에 정해야 한다