How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus
논문 링크 “무손실” 스페큘레이티브 디코딩은 정말 무손실일까? — Orthrus 재현으로 드러난 수치 정밀도의 함정TL;DR — Orthrus는 frozen AR 백본에 diffusion 뷰를 얹어 여러 토큰을 병렬로 생성하며 …
12분
Speculative Decoding
Numerical Precision
Quantization
LLM Inference
Efficient Inference
Benchmark Evaluation