https://jaehun.me/tags/2609.02780v1/Recent content in 2609.02780v1 on Jaehun's BlogHugoko-krTue, 08 Sep 2026 17:33:26 +0900https://jaehun.me/posts/shallowstream-index-shallow-then-answer-deep-for-streaming-video-understanding/Tue, 08 Sep 2026 00:00:00 +0900https://jaehun.me/posts/shallowstream-index-shallow-then-answer-deep-for-streaming-video-understanding/<p><a href="https://arxiv.org/abs/2609.02780v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="shallowstream-얕게-인덱싱하고-깊게-답하라--스트리밍-비디오-이해의-계산-병목을-푸는-방법">ShallowStream: 얕게 인덱싱하고, 깊게 답하라 — 스트리밍 비디오 이해의 계산 병목을 푸는 방법<a href="#shallowstream-%ec%96%95%ea%b2%8c-%ec%9d%b8%eb%8d%b1%ec%8b%b1%ed%95%98%ea%b3%a0-%ea%b9%8a%ea%b2%8c-%eb%8b%b5%ed%95%98%eb%9d%bc--%ec%8a%a4%ed%8a%b8%eb%a6%ac%eb%b0%8d-%eb%b9%84%eb%94%94%ec%98%a4-%ec%9d%b4%ed%95%b4%ec%9d%98-%ea%b3%84%ec%82%b0-%eb%b3%91%eb%aa%a9%ec%9d%84-%ed%91%b8%eb%8a%94-%eb%b0%a9%eb%b2%95" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p><strong>TL;DR</strong> — 스트리밍 비디오 이해에서 가장 비싼 비용은 매 프레임을 MLLM의 <strong>전체 깊이(28~32개 레이어)</strong> 로 prefill하는 것이다. ShallowStream은 <strong>얕은 레이어 4~5개</strong> 만으로 프레임 인코딩과 검색 인덱스를 동시에 구축하고, <strong>질문이 들어온 순간에만</strong> 검색된 증거에 대해 전체 깊이 연산을 수행한다. 그 결과 SOTA 수준의 성능(OVO-Bench 69.5 / StreamingBench 78.2)을 유지하면서, 프레임당 prefill은 <strong>최대 52.1배</strong>, 10초 구간 엔드투엔드 지연은 <strong>최대 11.9배</strong> 줄였다 (근거: Abstract).</p>