https://jaehun.me/tags/numerical-precision/Recent content in Numerical Precision on Jaehun's BlogHugoko-krWed, 16 Sep 2026 00:30:59 +0900https://jaehun.me/posts/how-lossless-is-lossless-speculative-decoding-the-role-of-numerical-precision-in-orthrus/Wed, 16 Sep 2026 00:00:00 +0900https://jaehun.me/posts/how-lossless-is-lossless-speculative-decoding-the-role-of-numerical-precision-in-orthrus/<p><a href="https://arxiv.org/abs/2609.15504"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="무손실-스페큘레이티브-디코딩은-정말-무손실일까--orthrus-재현으로-드러난-수치-정밀도의-함정">&ldquo;무손실&rdquo; 스페큘레이티브 디코딩은 정말 무손실일까? — Orthrus 재현으로 드러난 수치 정밀도의 함정<a href="#%eb%ac%b4%ec%86%90%ec%8b%a4-%ec%8a%a4%ed%8e%98%ed%81%98%eb%a0%88%ec%9d%b4%ed%8b%b0%eb%b8%8c-%eb%94%94%ec%bd%94%eb%94%a9%ec%9d%80-%ec%a0%95%eb%a7%90-%eb%ac%b4%ec%86%90%ec%8b%a4%ec%9d%bc%ea%b9%8c--orthrus-%ec%9e%ac%ed%98%84%ec%9c%bc%eb%a1%9c-%eb%93%9c%eb%9f%ac%eb%82%9c-%ec%88%98%ec%b9%98-%ec%a0%95%eb%b0%80%eb%8f%84%ec%9d%98-%ed%95%a8%ec%a0%95" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p><strong>TL;DR</strong> — Orthrus는 frozen AR 백본에 diffusion 뷰를 얹어 여러 토큰을 병렬로 생성하며 &ldquo;무손실(lossless)&rdquo; 스페큘레이티브 디코딩을 주장한다. 저자들이 이를 독립 재현해 1,190개 프롬프트(12개 도메인)의 토큰 궤적을 원본 AR 모델과 직접 비교한 결과, <strong>BF16 추론에서는 완전 일치 비율이 0.45(저자 체크포인트) / 0.43(자체 학습 모델)에 그쳤지만, FP32로 바꾸면 1.00(100%)로 뛰었다.</strong> 즉 &ldquo;무손실&quot;은 수치 정밀도에 의존하며, 벤치마크 점수가 같다고 해서 토큰 궤적까지 같다는 보장은 없다는 메시지를 남긴다.</p>