Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

논문 링크

문제: 매 단계마다 다시 읽는 이미지

이미지로 질문에 답하는 확산 언어 모델은 응답을 한 번에 완성하지 않는다. 여러 단계에 걸쳐 빈 자리를 메우는 동안, 매 단계마다 거의 변하지 않는 이미지를 처음부터 다시 읽는다. LOWN은 “지금 이 단계에 이미지가 정말 필요한가”를 매번 묻고, 필요할 때만 다시 읽어 디코딩 비용을 크게 줄인다.

확산 언어 모델은 자동회귀 모델처럼 왼쪽부터 한 토큰씩 뽑는 대신, 처음에 응답 전체를 가린 채 시작한다. 매 단계에서 남은 빈 자리들을 모두 살펴 가장 확신이 센 $k$개의 가림을 동시에 푼다. 이를 “unmask"하고, $k$는 응답 길이를 단계 수로 나눈 값이다(근거: §3.1). 이미지 입력 확산 언어 모델(DVLM, 예: LLaDA-V)에서는 이미지 토큰이 응답이 아니라 입력 시퀀스에 고정되어 함께 들어간다. “이미지 토큰”은 그림을 모델이 처리할 수 있게 만든 숫자 조각이다.

이미지 토큰의 비중이 압도적이다. 평가한 10개 벤치마크에서 이미지 토큰은 전체 입력의 89~97%를 차지하고, 이미지를 뺀 순방향 한 번의 비용은 원래의 약 3~10%(벤치마크별 평균 2.5~10.1%)에 불과하다(근거: §1, Figure 1b, Table 8). DVLM은 양방향 attention을 쓰므로 자동회귀 모델의 키·밸류 캐시를 그대로 재사용할 수 없고, 매 단계 입력 전체를 다시 통과시킨다. 그 결과 디코딩 비용의 대부분이 “안 바뀌는 이미지를 다시 읽는 일”에 들어간다.

이미지가 실제로 언제 필요한가

LOWN을 설계하기 전에, 이미지가 정말 모든 단계에서 필요한지 수치로 확인했다. 표준 디코딩 경로를 그대로 따라가며, 각 단계에서 두 가지 순방향을 나란히 돌렸다. “FULL forward”는 이미지 토큰을 포함한 입력으로 확률을 계산하고, “TEXT-ONLY forward”는 같은 부분 응답에서 이미지 토큰만 빼고 position ID는 그대로 유지한 채 확률을 계산한다(근거: §3.2, Appendix A). 진행 상태는 FULL forward만 결정하므로 디코딩 경로 자체는 baseline과 동일하다. TEXT-ONLY의 출력은 기록만 하고 상태에 반영하지 않는다.

비교 결과는 세 가지로 요약된다:

• unmask 대상 자리의 83.4%는 두 forward가 같은 토큰을 top-1로 예측했다. 최종 토큰의 85.0%는 unmask되기 전 이미 같은 자리에서 top-1로 예측돼 있던 값이었다(근거: §3.2, Table 6). 이미지가 결정을 뒤집는 경우는 드물다.
• 두 순방향의 top-1 불일치는 10개 중 8개 벤치마크에서 초반 디노이징 단계에 가장 컸고, 응답이 갖춰지며 줄었다. DeCapBench 같은 예외도 있다(근거: §3.2, Figure 2a).
• 이미지가 한 개 이상의 unmask 결정을 바꾼 단계의 비율, 즉 이미지 의존 단계 비율은 벤치마크마다 크게 다르다.

10개 평균은 22.8%다(근거: §3.2, Figure 2b, Table 6). 고정된 주기로 “n단계마다 이미지 읽기”를 정해두면 이 편차를 잘 따라잡지 못한다. 이미지가 필요한 시점은 입력과 단계에 따라 달라지므로, 매 단계에서 그때그때 판단해야 한다. 다행히 판단용 재료가 이미 있다. TEXT-ONLY forward는 FULL forward의 약 3~10% 비용으로 같은 자리의 예측을 제공한다(근거: §3.2, Table 8).

LOWN: 이미지가 필요할 때만 보기

LOWN은 “직전에 이미지를 보고 내린 예측을 재활용하자”에서 출발한다. FULL forward를 돌릴 때마다, 아직 빈 자리들의 top-1 예측과 그 확신도(confidence)를 따로 저장해둔다. 이 저장값을 “앵커(anchor)”라 부른다. 앵커는 토큰 값과 확신도 몇 개에 불과해, LOWN 자체는 attention의 키·밸류처럼 큰 상태를 보관하지 않는다.

각 단계는 먼저 TEXT-ONLY forward로 남은 자리의 예측을 계산한다. 이 예측이 앵커와 같으면, LOWN은 그 앵커 예측을 “이미지 없이도, 상태가 바뀐 뒤에도 유효할 가능성이 높은 예측”으로 인증(certify)한다. 두 예측은 이미지를 봤는지와 어느 시점 상태에서 계산됐는지가 모두 다르므로, 일치는 두 조건을 함께 통과했다는 근사 신호로 쓰인다. 절대적인 확신도 임계값은 필요 없다(근거: §4.1).

구체적으로는, 앵커의 확신도가 높은 순서대로 빈 자리를 나열하고 “TEXT-ONLY 예측 == 앵커”인 자리를 앞에서부터 세어 인증된 접두사(certified prefix)를 만든다. 첫 불일치에서 스캔을 멈춘다. 접두사 길이가 $k$ 이상이면 이미지를 생략하고, 접두사 전체를 앵커 값으로 unmask한다. $k$ 미만이면 FULL forward를 돌려 앵커를 갱신하고, 두 예측이 다른 자리를 먼저, 나머지는 FULL 확신도 순으로 $k$개를 unmask한다(근거: §4.2).

  flowchart TD
    A["현재 응답 상태 (일부 가림)<br/>이미지 없이 TEXT-ONLY forward 실행"] --> B["각 가린 자리의 top-1 예측과<br/>확신도를 앵커(직전 FULL 값)와 비교"]
    B --> C{"확신도 내림차순으로<br/>연속 일치 자리 수 ≥ k ?"}
    C -->|"예"| D["이미지 생략<br/>인증 자리 전체를 앵커 값으로 확정"]
    C -->|"아니오"| E["FULL forward로 이미지 포함 예측<br/>앵커를 새 값으로 갱신"]
    E --> F["불일치 자리를 먼저,<br/>나머지를 확신도 순으로 k개 확정"]
    D --> G{"가린 자리 남았는가?"}
    F --> G
    G -->|"예"| A
    G -->|"아니오"| H["응답 완료"]

아래는 설명용 예시다. 토큰 분할·수치는 논문 예시와 무관히 구성한 것이며, $k=2$를 가정한다.

어느 단계에서 응답이 “The cat ? ?” 상태라고 치자. 위치 1,2는 이미 확정됐고, 위치 3,4는 아직 가려 있다. 직전 FULL forward가 저장한 앵커(가린 자리의 예측과 확신도)와, 이번 단계 TEXT-ONLY forward의 예측은 다음과 같다.

확신도가 높은 순서(위치 3 → 4)로 스캔하면, 3에서 일치하고 4에서 어긋나므로 인증된 접두사는 {위치 3}이고 길이는 1이다. $k=2$보다 작으므로 이미지를 생략할 수 없어 FULL forward를 실행한다. FULL forward는 위치 3→“sat”, 위치 4→“on”을 예측해 앵커를 갱신하고, 두 예측이 달랐던 위치 4를 먼저 unmask한 뒤 위치 3을 unmask한다. 출력: “The cat sat on”.

반대로 TEXT-ONLY가 두 위치 모두 앵커와 일치했다면, 접두사 길이 2 ≥ $k$가 되어 FULL forward를 생략하고 두 값을 그대로 확정했을 것이다. 인증 접두사가 $k$보다 길면 같은 단계에서 $k$개보다 많이 확정해 총 단계 수도 줄어든다. 두 갈래 모두 최소 $k$개를 확정하므로, LOWN이 기준 디코딩의 $T$단계보다 많은 단계를 쓰는 일은 없다(근거: §4.2).

주의할 점이 하나 있다. 같은 단계에서 독립적으로 예측된 인접한 두 자리가 같은 토큰을 받을 수 있는데, 그대로 확정하면 응답에 반복된 단어가 생긴다. 이를 막기 위해, 이미 확정됐거나 같은 스캔에서 먼저 받아들인 이웃과 토큰 ID가 같으면 접두사를 끊는다(근거: §4.1, Appendix B.1).

비용은 $R = f + \sigma\rho$로 분해된다. $f$는 기준 $T$단계 중 FULL forward를 도는 비율, $\sigma$는 기준 $T$ 대비 LOWN이 도는 단계 수 비율, $\rho$는 TEXT-ONLY forward 한 번의 상대 비용이다(근거: §4.3). 인증은 $f$를 낮추고, 접두사 전체 수용은 $\sigma$를 낮춘다. $\rho$는 이미지가 차지하는 비중에 따라 벤치마크별 2.5~10.1% 수준이다(근거: Table 8). 토큰 프루닝이 FULL forward 하나의 비용을 줄이는 것과 달리, LOWN은 FULL forward를 돌리는 횟수를 줄인다. 두 방법은 축이 다르다(근거: §4.3).

성능: 얼마나 아끼고 얼마나 지키나

같은 연산량에서 비교

경쟁 방법은 각자 하이퍼파라미터 격자에서 LOWN 이상의 FLOPs를 쓰는 가장 싼 설정을 골랐으므로, LOWN보다 점수가 낮으면 같거나 더 비싼 비용에서 낮은 것이다(근거: Table 1, §C.3). 아래 표는 LLaDA-V 위에서 연산량을 맞춰 비교한 결과다.

평균 열은 10개 벤치마크 전체의 정규화 점수 평균이다. CapArena만 $100+\text{점수}-\text{기준 점수}$로 정규화한다(근거: §C.1). LOWN은 0.353×의 디코딩 FLOPs로 평균 99.6%를 유지하며, 10개 중 8개 벤치마크에서 가속 방법 중 1위를 기록한다(근거: §5.2). 10개 벤치마크 중 4개에서 LOWN이 원본보다 높은 점수를 낸다. 위 표에서도 ScienceQA(78.83 vs 76.50)와 ChartQA(78.36 vs 78.16)가 그렇다. 상한을 100%로 잘라도 98.6%다(근거: §5.2). RedVTP는 93.0%로 더 크게 떨어진다. 프루닝은 시각 정보를 영구히 지우지만, LOWN은 필요한 단계에서 전체 이미지를 다시 볼 수 있기 때문이다(근거: §5.3, Figure 6).

프루닝·캐시와 겹쳐 쓰기

LOWN은 프루닝이 forward마다 처리하는 시각 토큰 수를 줄이는 것과 달리, 각 단계에서 이미지를 처리할지 결정한다. 두 축이 겹치므로 함께 쓰면 절감이 쌓인다. RedVTP(50% 유지)와 결합하면 0.223× FLOPs에서 98.3%를 유지하며 10개 벤치마크 전부 1위다(근거: §5.2, Table 1). 키·밸류 캐시(Fast-dLLM)와 합치면 Fast-dLLM 대비 생성 시간을 추가로 38.1~50.1% 줄이고, FLOPs를 44.1~58.9% 추가 절감하며, LLaDA-V 단독 대비 5.6~7.0× 빠르게 디코딩한다(근거: §5.2, Table 2). 다만 이 조합의 점수는 Fast-dLLM 단독보다 세 태스크 모두 낮고(LLaVA-Bench에서 5.0점), 원본 대비로는 2.0점 이내다(근거: §5.2).

실제 시간과 다른 백본

앞의 성능 표는 분석적 연산량(FLOPs) 기준이다. 실제 벽시계 시간은 H200에서 배치 크기 1로 측정했는데, 단독 LOWN이 평균 57.4%, 최대 73.2%의 생성 시간을 줄였다(근거: §5.2, §D.1). FLOPs 절감(64.7%)과의 차이는 측정 범위 때문에 그대로 비교하기 어렵다. FLOPs는 비전 인코더와 비행렬 연산을 제외한 행렬곱 중심의 분석값이고, 시간에는 실행 흐름 안에서 멀티모달 준비와 비전 인코딩까지 포함된다(근거: §B.2, §D.1).

같은 규칙이 LaViDa에는 그대로 이전되고, VidLaDA에는 통제된 비디오 프로토콜에서 확장 적용된다. LaViDa에서는 0.174× FLOPs로 99.7%의 점수를 유지한다. 비디오 모델 VidLaDA-8B에서는 통제된 128토큰 디코딩 프로토콜에서 EgoSchema가 0.255× FLOPs에서 60.2점(원본 60.6), MLVU가 0.272×에서 43.3점(원본 41.8)이다(근거: §5.2, Table 3).

적응 판단이 고정 주기보다 나은 이유

“매 n단계마다 이미지 읽기”나 랜덤 스케줄과 비교하면, 적응 판단이 실제로 더 낫다. FULL 횟수를 맞춘 랜덤 스케줄보다 태스크 정규화 품질이 4.9~13.0% 높고, 비슷한 연산의 주기 4 스케줄은 MathVista에서 4.0점 낮다(근거: Table 4). 비용 기여를 나눠 보면, 이미지 접근 라우팅만으로 FLOPs가 27~68% 줄고, disagreement-first 순서와 접두사 전체 수용으로 이루어진 적응적 수용이 그 위에 21~43%를 더 줄인다. 적응적 수용은 7개 벤치마크에서 점수를 높이고, 나머지에서도 정규화