https://jaehun.me/tags/2609.03235v1/Recent content in 2609.03235v1 on Jaehun's BlogHugoko-krMon, 07 Sep 2026 14:31:22 +0000https://jaehun.me/posts/sgd-kv-summarization-guided-kv-cache-compression/Mon, 07 Sep 2026 00:00:00 +0900https://jaehun.me/posts/sgd-kv-summarization-guided-kv-cache-compression/<p><a href="https://arxiv.org/abs/2609.03235v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="sgd-kv-요약을-잘하는-헤드를-찾아-1m-토큰의-kv-캐시를-75까지-줄인다">SGD-KV: &lsquo;요약을 잘하는 헤드&rsquo;를 찾아 1M 토큰의 KV 캐시를 75%까지 줄인다<a href="#sgd-kv-%ec%9a%94%ec%95%bd%ec%9d%84-%ec%9e%98%ed%95%98%eb%8a%94-%ed%97%a4%eb%93%9c%eb%a5%bc-%ec%b0%be%ec%95%84-1m-%ed%86%a0%ed%81%b0%ec%9d%98-kv-%ec%ba%90%ec%8b%9c%eb%a5%bc-75%ea%b9%8c%ec%a7%80-%ec%a4%84%ec%9d%b8%eb%8b%a4" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2> <blockquote class="border-primary bg-muted/30 hover:bg-muted/40 my-6 rounded-r-lg border-l-4 py-4 pr-4 pl-6 italic transition-all duration-200 ease-out hover:translate-x-1" > <div class="prose prose-sm max-w-none"> <p><strong>TL;DR</strong> — 어텐션 헤드는 모두 같은 일을 하지 않는다. &lsquo;요약&rsquo;이라는 고차원 정보 압축을 담당하는 <strong>summarization heads</strong> 를 진단 태스크로 찾아내고, 그 점수에 비례해 KV 캐시 예산을 나눠주는 <strong>SGD-KV</strong> 가 최대 100만(1M) 토큰 컨텍스트에서 KV 캐시 메모리를 최대 <strong>75%</strong> 줄이면서도 기존 헤드 단위 압축 기법들을 압도한다.</p>