How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus

논문 링크

“무손실” 스페큘레이티브 디코딩은 정말 무손실일까? — Orthrus 재현으로 드러난 수치 정밀도의 함정

TL;DR — Orthrus는 frozen AR 백본에 diffusion 뷰를 얹어 여러 토큰을 병렬로 생성하며 “무손실(lossless)” 스페큘레이티브 디코딩을 주장한다. 저자들이 이를 독립 재현해 1,190개 프롬프트(12개 도메인)의 토큰 궤적을 원본 AR 모델과 직접 비교한 결과, BF16 추론에서는 완전 일치 비율이 0.45(저자 체크포인트) / 0.43(자체 학습 모델)에 그쳤지만, FP32로 바꾸면 1.00(100%)로 뛰었다. 즉 “무손실"은 수치 정밀도에 의존하며, 벤치마크 점수가 같다고 해서 토큰 궤적까지 같다는 보장은 없다는 메시지를 남긴다.

핵심 아이디어

이 논문의 중심 주장은 한 문장으로 요약된다.

“무손실(lossless)” 가속이라는 개념은, 유한 정밀도(finite-precision) 산술과 상태를 갖는 KV 캐시 위에서 구현되는 신경망 추론 시스템에서는 보다 정밀한 조작적 정의(operational definition)가 필요하다.

즉, 저자들은 Orthrus가 내세우는 “원본 AR 모델과 동일한 출력을 낸다"는 명제를 단순히 재현하는 데 그치지 않고, 수치 정밀도라는 실험 변수를 집어넣어 검증한다 (근거: §1). 그 결과 BF16에서는 궤적이 갈라지고, FP32에서는 완전히 일치한다는 사실을 발견한다 (근거: §3, §5).

논문이 내세우는 기여는 셋이다 (근거: §1):

1. Orthrus의 학습·추론을 독립 구현하고, 공개 체크포인트와 나란히 평가
2. 교사 생성(on-policy) 증류 데이터로 학습한 자체 모델이 대부분 도메인에서 동등 이상의 TPF 달성
3. 정확한 시퀀스 수준 동등성이 수치 정밀도에 극도로 민감함을 보임 — BF16에서는 상당한 궤적 발산, FP32에서는 완전 일치

배경: 그들이 해결한 문제

AR 언어 모델의 디코딩은 본질적으로 순차적이다. 접두사(prefix)가 주어지면 다음 토큰 분포를 먼저 계산해야 다음 토큰을 붙일 수 있고, 따라서 N개 토큰을 생성하려면 대체로 N번의 디코딩 스텝과 함께 커져가는 KV 캐시에 반복 접근해야 한다 (근거: §1). 이 순차 의존성은 하드웨어 활용률을 떨어뜨리고, 모델·컨텍스트가 커질수록 추론 비용을 가파르게 끌어올린다.

디퓨전 언어 모델과 병렬 디코딩 기법은 여러 미래 토큰을 한 번에 예측해 이 병목을 우회한다. 다만 엄격한 AR 의존성을 완화하면 원본 모델 분포와의 불일치(discrepancy)가 생길 수 있다. 여기서 Orthrus가 매력적인 대안을 제시한다. 사전학습된 AR 모델을 대체하거나 크게 수정하는 대신, frozen AR 백본에 가벼운 diffusion 뷰를 덧붙인다. 추론 시 AR 컴포넌트가 컨텍스트 표현을 만들고 diffusion 컴포넌트가 여러 미래 토큰을 병렬로 예측하며, 인트라-모델 합의(intra-model consensus) 메커니즘이 AR 뷰로 제안된 토큰을 검증한다 (근거: §1). Orthrus는 이 가속이 엄밀히 무손실(strictly lossless) — 즉 원본 AR 모델의 정확한 예측 행동을 그대로 보존한다 — 고 주장한다 (근거: §1).

이 논문이 파고드는 지점이 바로 이 무손실 주장이다.

새로운 접근법: 정밀도 축을 추가한 ‘무손실’ 감사(audit)

이 논문의 “방법"은 새 모델을 제안하는 게 아니라, 기존 주장을 독립 재현·감사하는 실험 설계다. 크게 세 축으로 나뉜다.

1) 독립 재현 + 온폴리시 증류

저자들은 Orthrus 아키텍처와 학습 절차를 독립 구현하고, 학습 목표·데이터 분포·하이퍼파라미터를 체계적으로 조절 가능한 프레임워크를 구축한다 (근거: §1). 핵심 통찰은, 디퓨전 뷰가 teacher forcing으로 학습되기 때문에 일반적인 인간 작성 연속문으로 학습하면 frozen AR 모델이 스스로 생성 중에 만나는 상태를 재현하지 못한다는 점이다 (근거: §1).

그래서 frozen AR 모델(Qwen/Qwen3-1.7B)을 프롬프트하고 greedy 디코딩으로 연속문을 기록하는 교사 생성 증류 코퍼스를 구축했다 (근거: §2.1). 결과 데이터는 모델 자신의 예측 궤적을 그대로 따른다. 50~1,000자 길이의 프롬프트만 유지해 총 4,113,358개의 프롬프트-응답 쌍을 만들었다 (근거: §2.1).

2) 학습 구성

8대의 NVIDIA H100 GPU에서 CUDA 13.3.73, PyTorch 2.13.0, Transformers 5.8.0으로 학습했다. 에포크 1회, 초기 학습률 $2\times10^{-4}$, 배치 크기 10, 손실 함수는 cross-entropy, 블록 크기 8, 블록 수 32, 최대 시퀀스 길이 3,072 토큰이다 (근거: §2.2). 이 구성은 원본 Orthrus 실험과 상당히 다르다 (근거: §2.2).

3) 궤적 평가(trajectory evaluation)

12개 텍스트 도메인 × 도메인당 100개 프롬프트(단, gec-en은 90개), 총 1,190개 프롬프트를 사용했다 (근거: §2.3, §3). 추론은 RTX 3090(24 GB) GPU에서 BF16 + eager 어텐션으로, max_new_tokens=128, do_sample=False, temperature=0.0 — 즉 greedy 디코딩만 사용했다 (근거: §3). 핵심 지표는 두 가지다.

• TPF(Tokens Per Forward) — 병렬 생성 효율을 측정 (근거: §2.3)
• Sequence Match Rate — Orthrus 궤적과 AR 기준 궤적의 완전 일치 비율 (근거: §3)

작동 원리: 궤적이 “어긋나는” 순간

무손실 주장의 토대는 “이상화된 산술(idealized arithmetic) 모델 하에서 합의 메커니즘이 정확한 궤적 동등성을 보장한다"는 것이다. 그러나 유한 정밀도 산술로 구현하면 기준 계산을 비트 단위(bit-for-bit)로 재현하지 못할 수 있다 (근거: §2). 생성은 이산적(discrete)이므로, 아주 작은 수치 차이도 결국 선택되는 토큰을 바꿔 궤적을 갈라놓을 수 있다 (근거: §2).

아주 작은 예로 생각해 보자. AR 모델이 세 후보 토큰 $t_1, t_2, t_3$에 로짓 $[10.0,\ 9.999,\ 3.0]$을 할당한다고 하자. greedy 디코딩이라면 항상 최대 로짓인 $t_1$을 고른다. 그런데 Orthrus의 병렬 경로가 내부적으로 다른 연산 순서·정밀도로 이 로짓을 계산해 $[9.9998,\ 10.0001,\ 3.0]$처럼 미세하게 뒤집힌 값을 내놓으면, 합의(consensus) 단계에서 $t_2$를 승인하게 된다. 이 순간부터 두 시스템은 서로 다른 토큰을 출력하고, 뒤이은 컨텍스트까지 달라진다.

이 “뒤집힘"은 정밀도와 직접 맞물린다. BF16은 가수(mantissa)가 8비트로 약 $\log_{10}(2^8)\approx2.4$자리 십진 정밀도를 갖는 반면, FP32는 가수가 23비트(+암묵적 1비트)로 약 7자리다. 따라서 크기 10 근처에서 $0.001$ 차이(약 5자리)는 FP32로는 구분되지만 BF16으로는 구분되지 않는다. 로짓 차이가 정밀도의 해상도 아래로 내려가면, 합의 메커니즘은 동전 던지기에 가까워진다.

논문은 이 발산이 무작위로 고르게 퍼지지 않는다는 점을 통계로 뒷받침한다. 기준 모델의 응답-조건부 퍼플렉서티를 아래와 같이 정의하고 (근거: §3),

이 값이 클수록(기준 모델이 그 응답을 덜 ‘자신 있게’ 생성할수록) 궤적이 어긋날 확률이 높아진다는 것을 보인다 (근거: §3, Tab. 5, Tab. 6). 즉 기준 모델이 애매하게 고른 토큰일수록 정밀도 차이에 의한 뒤집힘이 일어나기 쉽다는 해석이 가능하다.

성능 검증: 주요 결과

1) BF16에서는 “무손실"이 성립하지 않는다

1,190개 궤적을 비교했을 때, BF16 추론에서 완전 일치 비율은 저자 체크포인트 0.45 ± 0.03, 자체 학습 모델 0.43 ± 0.03이다. 즉 절반 이상(각각 0.55, 0.57)의 궤적에서 최소 한 번 이상 발산이 일어났다 (근거: §3, Tab. 3).

도메인별 편차는 크다 (근거: §3, Tab. 4). 일치율이 높은 도메인은 gec-en 0.88(양쪽 동일), qa-ru 0.73/0.70, wmt ru-en 0.64/0.63이다. 반면 creative-en 0.12/0.11, poetry-en 0.11/0.08, poetry-ru 0.14/0.11처럼 창의·시 쓰기 도메인에서는 일치율이 10%대까지 떨어진다. 창의적 생성은 본질적으로 “모델이 덜 확신하는” 고차원 분포라, 정밀도에 의한 뒤집힘이 훨씬 쉽게 일어나기 때문으로 읽힌다.

2) 발산은 응답-조건부 퍼플렉서티와 강하게 연관된다

일치 궤적의 평균 PPL은 1.11 ± 0.01, 발산 궤적은 1.28 ± 0.01로 두 모델 모두 동일한 패턴을 보인다 (근거: §3, Tab. 5). 응답 길이와 도메인을 통제한 로지스틱 회귀에서도 이 연관은 유지된다 (근거: §3, Tab. 6):

여기서 $Y=1$은 정확한 궤적 일치, $\gamma_D$는 도메인 효과다. $\beta_1$은 저자 체크포인트에서 $-8.10$ (95% CI $[-10.50,-5.71]$, $p=3\times10^{-11}$), 자체 모델에서 $-10.92$ (95% CI $[-13.60,-8.24]$, $p=1.3\times10^{-15}$) 로, 음의 방향으로 크고 신뢰구간이 0을 한참 벗어난다. 즉 퍼플렉서티가 높은 응답일수록 정확히 재현될 확률이 유의미하게 낮다 (근거: §3).

3) 발산이 곧 성능 저하를 뜻하지는 않는다

GSM8K·HumanEval·IFEval을 lm-eval-harness로 평가한 결과는 아래와 같다 (근거: §4, Tab. 7).

자체 Orthrus 모델은 세 벤치마크 모두에서 AR 기준(Qwen3-1.7B)보다 높은 점 추정치를 기록했다. 다만 저자들은 이 차이를 통계적으로 유의미한 개선으로 해석해서는 안 된다고 명시한다 (근거: §4). 오히려 중요한 교훈은, 벤치마크 점수가 같거나 더 높아도 토큰 시퀀스는 다를 수 있다는 점이다. 두 시스템은 통계적으로 구분 불가능한 과제 점수를 얻으면서도 서로 다른 토큰을 내놓을 수 있고, 때로는 작은 수치 섭동이 생성을 벤치마크가 선호하는 답 쪽으로 밀어내기도 한다 (근거: §4).

주목할 만한 반례도 있다. 저자 체크포인트는 HumanEval pass@1에서 0.3659로 AR 기준(0.4024)보다 낮다 (근거: Tab. 7). 즉 궤적 발산이 항상 중립적이거나 유리한 것도 아니다.

4) FP32에서는 100% 일치

같은 1,190개 궤적을 FP32로 재평가하자, 두 Orthrus 변형 모두 시퀀스 일치율 1.00 ± 0.00, 발산율 0.00 ± 0.00을 기록했다 (근거: §5, Tab. 8). BF16에서 관찰된 궤적 발산이 완전히 사라진 것이다. 이는 관찰된 발산이 특정 레이어나 연산의 결함이 아니라 유한 정밀도 수치 효과에 기인함을 강하게 시사한다 (근거: §5).

5) 온폴리시 증류가 TPF를 높인다

자체 학습 모델은 12개 도메인 중 10개에서 저자 체크포인트보다 높은 TPF를 기록했다 (근거: §2.3, Tab. 2). 예컨대 code 3.24 → 3.44, code-ru 3.59 → 3.93, wmt ru-en 2.04 → 2.46이다. 다만 math는 저자 체크포인트(8.08 ± 0.65)가 자체 모델(4.99 ± 0.16)을 크게 앞서고, gec-en도 5.00 대 4.23으로 저자가 우세하다 (근거: Tab. 2). 즉 교사 생성 데이터의 분포에 따라 TPF가 도메인별로 크게 갈린다는 점도 함께 드러난다.

우리의 관점: 강점, 한계, 그리고 이 연구가 중요한 이유

강점

• “무손실"을 조작적으로 검증한 드문 감사 논문. 대부분의 가속 연구가 처리량·벤치마크에만 집중하는 반면, 이 논문은 궤적 수준의 정확한 동등성을 별도로 측정한다 (근거: §1, §3). “lossless"라는 말이 실제로는 정밀도에 의존함을 실험으로 입증했다.
• 대조군이 탄탄하다. 저자 체크포인트와 독립 학습 모델 두 변형을 함께 평가해, 관찰된 효과가 특정 학습 셋업의 부산물이 아님을 보였다 (근거: §2).
• 통계 처리의 엄밀성. 도메인·응답 길이를 통제한 로지스틱 회귀로 퍼플렉서티-발산 연관을 견고하게 뒷받침했다 (근거: §3, Tab. 6).

한계

• 규모가 작다. Qwen3-1.7B 단일 백본에 대한 결과다. 더 큰 모델·MoE·샘플링 디코딩에서도 같은 결론이 유지될지는 열려 있다 (근거: §2, §3).
• greedy 디코딩만 평가. do_sample=False, temperature=0.0 고정이라, 실제 서빙에서 흔한 확률적 디코딩에서는 발산 양상이 달라질 수 있다 (근거: §3).
• 발산 원인을 국소화하지 못했다. 저자들도 “특정 레이어나 연산 단계를 특정하지 않았다"고 명시한다 (근거: §5). BF16의 어느 지점에서 로짓이 뒤집히는지는 여전히 미해결이다.
• 온폴리시 증류의 도메인 의존성. math(8.08 vs 4.99)처럼 일부 도메인에서는 자체 모델의 TPF가 오히려 크게 낮다 (근거: §2.3, Tab. 2).

왜 중요한가

이 논문의 의의는 “Orthrus가 틀렸다"가 아니다. 저자들도 합의 메커니즘이 무효라거나 Orthrus의 가속 가치가 없다고 주장하지 않는다 (근거: §1). 오히려 “무손실"이라는 용어의 경계를 재정의한 데 있다. 신경망 추론이 유한 정밀도 산술 + 상태를 갖는 KV 캐시 위에서 돌아가는 이상, “의도된 AR 연산을 원칙적으로 보존하는 알고리즘"과 “이산 출력까지 동일하게 재현하는 구현"은 엄연히 다른 명제다 (근거: §1). 그리고 벤치마크 점수가 같다고 해서 궤적이 같은 것도 아니다 (근거: §4). 이 구분은 앞으로 “무손실 가속"을 주장하는 모든 논문이 따라야 할 평가 기준의 표준을 제시한다.

다음 단계는?: 앞으로의 길

저자들이 명시한 미래 방향은 하나지만 그 함의는 크다 (근거: §5):

1. 발산 원인의 국소화. BF16에서 로짓이 뒤집히는 구체적 연산 단계(어텐션 스케일링, 레이어 노름, 소프트맥스 누적, 합의 임계값 등)를 특정하는 작업이 다음 과제로 남았다.

여기에 우리의 관점에서 두 갈래를 덧붙일 수 있다.

2. 샘플링·대규모로의 확장. greedy 1.7B를 넘어 실제 서빙 세팅(확률적 디코딩, 수십 B급 모델, MoE)에서 정밀도-발산 관계가 어떻게 변하는지 검증할 필요가 있다. 특히 BF16에서 이미 상당한 발산이 보였으므로, FP8/INT8 양자화 서빙에서는 더 극적인 궤적 이탈이 예상된다.
3. “무손실” 표준의 정착. 저자들이 제안한 대로, 무손실 가속 평가는 (a) 동등성의 조작적 기준과 (b) 측정된 수치 정밀도를 반드시 명시해야 한다 (근거: §6). 이는 단순한 권고가 아니라, 후속 논문들이 기본으로 채택해야 할 실천 규범이다.

논문 원문의 표

arXiv e-print 의 LaTeX 원본에서 기계적으로 옮긴 표입니다. 숫자는 논문의 값이며 모델을 거치지 않았습니다.

표 1. Datasets and task domains used for trajectory evaluation.

표 2. Tokens Per Forward across different evaluation domains. Higher values indicate more effective parallel token generation. Values are means with 95% confidence intervals.

표 3. Orthrus–Qwen3 trajectory matching statistics under BF16 inference. Values are proportions with 95% confidence intervals.

표 4. Orthrus–Qwen3 trajectory matching rates by domain under BF16 inference. Values are proportions of exactly matching trajectories with 95% confidence intervals.

표 5. Mean response-conditional PPL for matching and diverging Orthrus trajectories. Values are means with 95% confidence intervals.

표 6. Logistic regression results for the association between response-conditional perplexity and exact trajectory matching.

표 7. Comparison of Qwen3-1.7B, the authors’ Orthrus-Qwen3-1.7B, and our Orthrus-1.7B-final on lm-eval-harness benchmarks.

표 8. Orthrus–Qwen3 trajectory matching statistics under FP32 inference.