CoVeR: Coverage-Based Token Pruning for Multi-View 3D Reasoning in VLMs

논문 링크

CoVeR: 지오메트리만으로 멀티뷰 3D 추론의 비주얼 토큰을 92%까지 덜어내는 커버리지 기반 프루닝

한 줄 요약 (TL;DR)

3D 장면을 여러 시점 이미지로 렌더링해 2D VLM에 넣으면 토큰이 시점 수에 비례해 폭증한다. CoVeR는 학습 없이 오직 토큰의 3D 좌표만 사용해 장면 전체를 균등하게 커버하는 토큰을 선택함으로써, 약 8%의 토큰만으로 원본 성능의 93.5%를 유지하고 기존 SOTA보다 평균 3.9%p 앞선다 (근거: Abstract, §4.1).

핵심 아이디어

기존 비주얼 토큰 프루닝은 크게 두 계열로 나뉘는데, 저자들은 둘 다 멀티뷰 3D 세팅에 어울리지 않는다고 진단한다 (근거: §1, Tab. 1):

• Learned importance (학습된 중요도): 어텐션 맵이나 인코더 특징으로 토큰에 중요도를 매겨 top-K를 남긴다. 그런데 멀티뷰의 중복은 본질적으로 기하학적이어서(여러 카메라가 같은 물리적 영역을 동시에 관측), 지오메트리와 무관한 중요도 점수는 두드러진 소수 영역의 near-duplicate 토큰을 남기고 장면 대부분을 미표현 상태로 둔다 (근거: §1, §3.2).
• Voxelization (복셀화): 토큰을 3D로 역투영해 같은 복셀에 떨어진 토큰을 풀링한다. 공간 커버리지는 좋지만 출력 토큰 수를 정확히 제어하지 못하고, 뷰가 겹칠수록 복셀 점유가 포화되어 유지율이 약 69%에서 정체된다 (근거: §3.2, Fig. 2).

CoVeR의 중심 주장은 **“고정 예산에서 공간 커버리지를 명시적으로 최적화하면 3D 추론 성능이 올라간다”**는 것이다. 저자들은 커버리지를 부산물이 아니라 목적함수로 직접 세우고, 두 단계(복셀 초기화 + FPS 확장)로 **정확한 장면별 예산(exact per-scene budget)**을 보장한다 (근거: §3.3).

배경: 그들이 해결한 문제

3D-Language 데이터는 인터넷 규모의 이미지-텍스트 데이터에 비해 몇 자릿수나 부족하기 때문에, 3D 표현을 직접 학습하는 접근은 데이터 희소성에 막힌다 (근거: §1). 실용적인 대안은 장면을 멀티뷰 이미지로 렌더링하고 사전학습된 2D VLM으로 추론하는 것인데, 여기서 병목이 생긴다. 비주얼 토큰 수가 뷰 수에 선형으로 증가하는 것이다 (근거: §1).

구체적으로 LLaVA-OneVision-7B에서 12-뷰 입력은 이미지당 729개 토큰 × 12뷰 = 8,748개의 비주얼 토큰을 만들어낸다 (근거: Appx. §1). 이는 LLM 추론 비용을 크게 키우므로, 토큰 수를 줄이는 것이 2D VLM 위에서 3D 추론을 확장하기 위한 필수 조건이 된다 (근거: §1).

기존 방법의 결정적 한계 두 가지

① 복셀화는 정확한 예산을 못 맞추고 포화된다. 고정 복셀 크기 $v_s=0.2\,m$에서 예산 $B=1342$를 맞추려 하면, 장면의 56%는 예산 미달, 44%는 초과한다 (근거: §3.2, Fig. 2(c)). 또 ScanQA와 SQA3D 토큰의 약 31%가 공간적으로 중복되어, 복셀 크기를 줄여도 유지율은 약 69%에서 정체하고 중복이 심한 장면은 46~57%에서 멈춘다 (근거: §3.2, Fig. 2(a)(b)(d)).

② 학습된 중요도는 장면을 미커버한다. 어텐션/특징 기반 점수는 모델에 종속적이고, 기하학적 중복을 인식하지 못해 예산을 소수 영역의 중복 토큰에 쏟는다 (근거: §1, §2).

정확한 예산 제어가 중요한 이유는 단순하다. 데이터셋 평균은 한도를 안 넘어도 단일 장면 하나가 메모리/지연 한도를 초과할 수 있기 때문이다 (근거: §1).

새로운 접근법: CoVeR (Coverage-Based Token Pruning)

CoVeR는 deterministic, training-free, geometry-only 셀렉터다. 어텐션도, 인코더 특징도, 보조 인코더도 쓰지 않고 오직 토큰의 3D 좌표 $\mathbf{t}_i \in \mathbb{R}^3$만 사용한다 (근거: §3.1). 이는 선택 규칙이 모델 아키텍처와 무관하게 전이 가능함을 의미한다 (근거: Tab. 1).

문제 정식화: 커버리지를 k-center 문제로

선택된 토큰 집합 $\mathcal{C}$ ($|\mathcal{C}|=B$)가 원본 토큰 집합 $X$를 얼마나 잘 커버하는지를 **방향성 하우스도르프 거리(directed Hausdorff distance)**로 측정한다:

즉, “가장 덜 대표되는 토큰"에서 가장 가까운 선택 토큰까지의 거리다. 이 값이 작으면 어떤 영역도 통째로 누락되지 않았다는 보증이 된다 — 바로 학습된 중요도가 주지 못하는 보증이다 (근거: §3.1). 따라서 목표는 이산 유클리드 k-center 문제가 된다:

두 단계 구조

단일 하이퍼파라미터 $\alpha\in(0,1)$이 예산을 나눈다. Stage 1 목표는 $B_{\text{init}}=\max(1,\lfloor\alpha B\rfloor)$, Stage 2가 나머지 $B_{\text{expan}}=B-|\mathcal{C}_{\text{init}}|$을 채운다. 전 과정에서 $\alpha=0.4$를 고정 사용했다 (근거: §3.3, §4.4).

Stage 1 — Coverage Initialization (적응형 복셀화). 복셀 크기 $v_s$를 장면마다 이진 탐색으로 찾아, 점유 복셀 수 $G(v_s;X)$가 $B_{\text{init}}$의 $\pm\tau$ ($\tau=0.05$) 안에 들어오게 한다. 각 점유 복셀마다 대표 토큰 1개(복셀 내 평균에 가장 가까운 토큰, Eq. medoid)를 남겨 장면 전체의 거친 커버를 만든다 (근거: §3.4, Alg. 1). 검색이 휴리스틱이므로 결과가 $B$를 넘을 경우엔 가장 많이 채워진 $B$개 복셀에서 대표를 남기는 safeguard가 붙는다 (근거: §3.3).

Stage 2 — Coverage Expansion (FPS). 복셀화만으로는 포화 때문에 예산을 다 못 채우므로, **Farthest Point Sampling(FPS)**으로 현재 선택에서 가장 먼 토큰을 반복 추가한다. Stage 1의 복셀 시드를 초기점으로 쓰므로, FPS는 이미 커버된 영역을 재탐색하지 않고 미커버 영역으로 곧장 확장한다 (근거: §3.5). 거리 지표는 제곱 유클리드 거리 $\mathcal{D}=\|\mathbf{t}_i-\mathbf{t}_j\|_2^2$를 쓴다 (근거: §3.5).

이론적 보증

두 단계가 합쳐져 다음이 성립한다 (근거: §3.6, Appx. 이론 분석):

1. 정확한 예산: $B
2. 커버리지 상한: Stage 1 뒤 모든 토큰은 어떤 선택 토큰의 $\sqrt{3}\,v_s$ 안에 있고, 이 상한은 Stage 2에서도 유지되어 $d_H(X,\mathcal{C})\le\sqrt{3}\,v_s$ (근거: Lemma 1, 2, Thm. 1).
3. 2-근사: FPS는 k-center 최적해의 2배 이내를 보장해 $d_H(X,\mathcal{C})\le 2\cdot\text{OPT}_{B_{\text{expan}}}(X)$ (근거: Prop. 1).

실측으로는 9% 유지율에서도 $d_H$가 장면 대각선의 2.3%에 불과해, Stage 1 상한(9.6%)보다 훨씬 타이트하다 (근거: Appx., Fig. A).

작동 원리: 구체적인 예시로 살펴보기

방 안에 테이블 1개, 의자 3개, 소파 1개가 있고, 4대의 카메라가 서로 다른 각도에서 이 방을 찍는다고 하자.

• 테이블은 4대 카메라 모두에 보이므로, 테이블 영역의 토큰은 4개의 near-duplicate 클러스터로 나타난다. 반면 방 구석의 벽은 1대 카메라에만 잡힌다.
• Learned importance는 테이블이 두드러져서 테이블 근처 토큰을 대거 선택한다. 예산이 줄어들수록 테이블만 남고, “구석에 거울이 있나?” 같은 질문에 답할 증거(구석 토큰)는 사라진다.
• Voxelization은 복셀 크기를 아무리 줄여도 4대 카메라의 테이블 관측이 같은 복셀에 겹치므로, 테이블 중복 제거 이상으로 토큰을 줄이지 못한다(포화).

CoVeR는 이렇게 동작한다:

1. 초기화: 이진 탐색으로 “복셀 수 ≈ $B_{\text{init}}$“이 되는 복셀 크기를 찾는다. 테이블의 4개 중복 관측은 같은 복셀로 합쳐져 대표 1개가 남고, 구석 벽도 각자 대표를 갖는다. 결과적으로 장면 전체에 걸친 거친 커버가 생긴다.
2. 확장: 이제 $B_{\text{expan}}$개를 채울 차례. FPS가 “현재 선택에서 가장 먼 토큰"부터 채우므로, 상대적으로 비어 있던 구석·바닥·천장 순으로 증거를 보강한다. 테이블은 이미 대표가 있으니 재선택되지 않는다.

핵심은 예산이 정확히 $B$로 떨어지면서도(복셀화가 못한 것) 장면 전체가 골고루 대표되며(학습된 중요도가 못한 것), 선택이 모델이 아니라 좌표로만 결정된다는 점이다. 저자들은 이를 “넓은 공간 커버리지가 더 강한 3D 추론을 동반한다"는 Insight 1로 정리한다 (근거: §4.2).

성능 검증: 주요 결과

평가는 3D 추론의 세 축을 아우른다. 공간 이해(ScanQA), 에이전트 위치에 기반한 상황 추론(SQA3D), 개방 어휘 임베디드 QA(OpenEQA)다 (근거: §4, Appx. §1).

메인 벤치마크: 8% 토큰으로 93.5% 유지

세 벤치마크 평균으로, CoVeR는 8% 토큰 유지에서 원본 성능의 **93.5%**를 보존한다. 같은 조건에서 SeGPruner는 89.6%, VisPruner는 85.9%다 (근거: §4.1, Tab. 2).

ScanQA에서 CoVeR는 9% 예산에서 EM@1 27.1, CIDEr 81.4, ROUGE-L 41.5를 기록해 VisPruner(23.4/66.9/35.6)와 SeGPruner(24.5/71.2/37.0)를 큰 폭으로 앞선다 (근거: Tab. 2). SQA3D는 8%에서 48.6 EM@1, OpenEQA는 8%에서 53.0 LLM-Match다 (근거: Tab. 2). 주목할 점은 23% 유지율에서 ScanQA가 풀토큰 기준(28.2 EM@1)을 넘어선(28.5) 것이다 (근거: Tab. 2).

커버리지가 정말 성능을 만든다

저자들은 단순 정확도가 아니라 “어떻게 예산을 써야 하는가"를 두 지표로 검증한다 (근거: §4.2, Tab. 3):

• NNI(Nearest Neighbor Index): 선택 토큰이 얼마나 고르게 퍼졌는지. SeGPruner 0.458 vs CoVeR 0.924 — SeGPruner는 소수 영역에 뭉쳐 있고 CoVeR는 균등하다.
• NND$_{95}$/NND$_{100}$: 장면 커버리지. NND$_{95}$는 0.967 vs 0.980, NND$_{100}$(최악 케이스)는 0.917 vs 0.977로, 최악 케이스에서 격차가 가장 크다 (근거: Tab. 3). NND$_{100}$은 CoVeR가 최소화하는 하우스도르프 거리의 정규화 보수(complement)와 같다 (근거: §4.2).

또한 “넓은 커버리지가 답을 결정짓는 증거를 버리지 않나?“라는 우려에 대해, Token Recovery(TR)가 0.009(장면 대각선의 0.9%)로 작아 CoVeR가 SeGPruner가 고른 모든 영역 근처에 토큰을 유지하면서도, Token Expansion(TE)은 0.020으로 약 2배 커서 SeGPruner가 무시한 약 20%의 추가 영역까지 커버함을 보인다 (근거: §4.2, Tab. 4, Fig. 4).

효율: 계산·메모리 절감

LLaVA-OV-7B 기준, 가장 공격적인 9% 예산에서 (근거: §4.3, Tab. 5):

• TFLOPs 13.3× 감소, KV 캐시 10.7× 감소, 추론 2.9× 가속, 성능 하락은 1.1점에 불과.
• 14% 유지율에서는 TFLOPs 8.6×, KV 캐시 7× 감소, GPU 메모리 1.4× 절감, 2.5× 가속에 성능 하락 1.1% (근거: §1).

학습된 중요도 프루너들과 달리 CoVeR는 **최고 정확도와 최저 피크 메모리(17.2 GB)**를 동시에 달성한다. VisPruner/SeGPruner는 어텐션 출력을 켜고 어텐션 맵을 들고 있어야 해서 메모리가 22.1 GB로 더 크다 (근거: §4.3, Tab. 6). 프루닝 자체 비용은 이진 탐색 + FPS뿐이라 0.034초로, 종단 간 추론 시간의 일부에 불과하다 (근거: Tab. 6).

일반화: 4개 VLM, 두 모델 계열

CoVeR는 선택 규칙과 $\alpha$를 전혀 바꾸지 않고 LLaVA-OV-7B, Video-3D LLM, Qwen2.5-VL-7B, Qwen3-VL-8B 네 모델로 전이된다. 후자 둘은 비주얼 인코더·토크나이저·해상도 처리에서 크게 다름에도, 20% 이상 유지율에서 ScanQA 성능의 96% 이상, SQA3D의 95% 이상을 유지한다 (근거: §4.3, Fig. 5).

특히 Geo3DPruner와의 비교가 인상적이다. Geo3DPruner는 VGGT-1B 인코더를 붙이고 백본을 전체 재학습하는데, CoVeR는 재학습 없이 16-뷰/10% 예산에서 ScanQA EM@1 26.5 vs 26.0, 상대 유지율 **93.5% vs 90.7%**로 우위를 보인다 (근거: §4.3, Tab. 7).

Ablation: 각 부품이 왜 필요한가

• 실제 토큰 vs 병합 특징: 복셀 내 특징을 평균하는 VTC식 병합(merging)보다 인코더 네이티브 토큰을 그대로 남기는 프루닝이, 가장 타이트한 예산에서 ScanQA/SQA3D EM@1을 7.7/18.1 올린다. 이종 객체가 섞인 복셀의 평균은 합성 특징이 되기 때문이다 (근거: §4.4, Fig. 6, Insight 2).
• 공간 거리 vs 의미 거리: FPS 거리로 의미(코사인) 거리를 쓰면, 위치가 다른 유사 객체가 억제된다. 순수 3D 거리가 타이트 예산에서 공간+의미 결합보다 ScanQA/SQA3D 1.7/2.1, 의미 단독보다 2.9/4.3 앞선다 (근거: §4.4, Fig. 7, Insight 3).
• 반복 FPS와 Stage 1 시드: 반복적 거리 갱신을 뺀 Top-K/랜덤 선택은 9%에서 0.7/1.7점 하락하고, Stage 1 시드를 빼면(처음부터 FPS) 23/14/9%에서 1.1/0.2/0.5점 하락한다. 시드 덕에 프루닝 시간도 약 1.5× 빨라진다 (근거: §4.4, Tab. 8).

모든 변형에서 커버리지 지표(NNI, NND$_{95}$, NND$_{100}$)가 높을수록 정확도가 높았고, 완전한 CoVeR가 모든 지표에서 최고였다 — 커버리지가 성능의 메커니즘이라는 근거다 (근거: §4.4, Fig. 8).

우리의 관점: 강점, 한계, 그리고 이 연구가 중요한 이유

강점

1. 무료 점심에 가깝다. 재학습도, 추가 인코더도, 어텐션 출력도 필요 없이 좌표만으로 최대 13.3×의 TFLOPs 절감을 얻는다. 기존 프루너들이 모델마다 손을 봐야 하는 것과 대비된다 (근거: §4.3).
2. 문제를 명확히 재정의했다. “토큰 프루닝"을 “중요도 순위 매기기"가 아니라 “k-center 커버리지 최적화"로 본 것이 이 논문의 핵심 기여다. 덕분에 정확한 예산 보장과 이론적 상한(√3·$v_s$, 2-근사)까지 얻었다 (근거: §3.6).
3. 검증이 꼼꼼하다. 정확도만 보지 않고 커버리지 지표(NNI/NND), 방향성 거리(TR/TE), 4개 백본 전이, 시드/거리/초기화를 하나씩 뜯어내는 ablation으로 주장을 뒷받침한다 (근거: §4.2~4.4).

한계

1. 깊이·카메라 포즈에 의존한다. CoVeR는 RGB-D와 포즈를 요구하며 실내 장면용으로 설계됐다. 지오메트리 추정 품질이 나쁘면 성능이 흔들릴 수 있다는 점을 저자들도 명시한다 (근거: §5).
2. 선택 메커니즘이 시각적 중요도와 완전히 무관하다. TR이 작다는 실험으로 “중요 영역을 버리지 않는다"를 보이긴 했지만, 이는 사후 검증이다. 답에 결정적인 작고 희귀한 시각 단서(예: 작은 글자, 미세한 색 차이)를 공간 커버리지가 반드시 보존한다는 보장은 없다.
3. 복셀 검색의 휴리스틱성. 복셀 그리드는 크기에 따라 중첩되지 않아 $G(v_s;X)$의 단조성이 보장되지 않고, 이진 탐색은 휴리스틱이다. safeguard가 이를 흡수하지만, 이론적 상한(√3·$v_s$)은 safeguard가 비활성일 때만 성립한다 (근거: §3.3, §3.6, Appx. Remark 2).

왜 중요한가

멀티뷰 3D 추론은 로보틱스·임베디드 AI로 가는 핵심 경로인데, 그 진입 장벽은 3D 데이터 부족이 아니라 2D VLM을 재활용할 때의 추론 비용이었다. CoVeR는 이 병목을 “학습 없이 좌표 하나로” 낮추는, 단순하지만 이론적으로 근거 있는 해법을 제시한다. 3D-Language 데이터가 여전히 희소한 현시점에서, 이처럼 공짜에 가까운 효율화는 실질적 파급력이 크다.

다음 단계는?: 앞으로의 길

저자들이 제시한 향후 방향은 신뢰할 수 있는 깊이·포즈 추정과의 결합과 실외 장면을 위한 계층적/스트리밍 선택이다 (근거: §5). 여기에 더해 다음과 같은 확장이 자연스럽다:

• 깊이/포즈가 불확실할 때의 강건성: 좌표가 노이즈를 가질 때 선택이 어떻게 흔들리는지, 혹은 좌표의 불확실성을 선택에 반영하는 정식화.
• 동적 장면·비디오: 정적 실내 장면을 넘어 시간 축으로 커버리지를 확장(시공간 커버리지)하면 임베디드 비디오 이해에도 바로 적용 가능하다.
• 다른 모달리티로의 일반화: “좌표만 보고 균등 커버"라는 아이디어는 포인트 클라우드·라이다 기반 모델의 토큰/포인트 다운샘플링에도 그대로 옮겨볼 수 있다.

한 가지 더 주목할 점은, CoVeR가 어텐션도 특징도 쓰지 않기에 프루닝 자체를 GPU 밖(전처리)으로 밀어낼 여지가 크다는 것이다. 저자들이 이미 “프루닝 비용이 종단 간 추론의 일부"임을 보였지만, 이를 엣지 디바이스 수준으로 내리는 것이 다음 실용적 단계가 될 수 있다.

논문 원문의 표

arXiv e-print 의 LaTeX 원본에서 기계적으로 옮긴 표입니다. 숫자는 논문의 값이며 모델을 거치지 않았습니다.

표 1. Comparison with token pruning methods. Avoiding learned signals (attention, visual features, auxiliary encoders) removes model-specific dependence, while deterministic selection and exact per-scene budget give precise control over token count.

표 2. Performance Comparison. CoVeR compared to ExpCTextVoxelization and ExpDTextLearned Importance methods on 12-view ScanQA , OpenEQA , and SQA3D . Avg. is over benchmarks, while Rel. is avg. % of performance maintained. Higher is better.

표 3. Coverage and Performance. CoVeR achieves substantially better spatial coverage with higher downstream 3D scene understanding performance compared to SeGPruner . Higher $\uparrow$ is better on all columns.

표 4. Directed distance. CoVeR remains close to regions selected by SeGPruner while expanding into additional regions.

표 5. Efficiency at varying token retention. Pruning' denotes the average time which CoVeR needs to select tokens, while Time’ reports end-to-end inference latency (in sec). CoVeR substantially reduces TFLOPs, KV cache (MB), memory (GB) while remaining competitive across token budgets. Results are relative to LLaVA-OV-7B on ScanQA.

표 6. Efficiency comparison. CoVeR attains the highest accuracy at the lowest peak memory. Its selection cost remains a fraction of end-to-end inference. Scores report pruning on LLaVA-OV-7B at 9% token retention for ScanQA.

표 7. Generalization with Video-3D LLM backbone. Geo3DPruner introduces a VGGT-1B encoder and requires full backbone retraining, while CoVeR is training-free. Scores are EM@1 $\uparrow$ on 16-view at 10% budget.

표 8. Design ablations. Iterative FPS with stage 1 initialization consistently performs best. Results on ScanQA, averaged over EM@1, CIDEr, and ROUGE-L. Pruning time is reported in sec.