https://jaehun.me/tags/2609.03949v1/Recent content in 2609.03949v1 on Jaehun's BlogHugoko-krWed, 09 Sep 2026 03:22:44 +0000https://jaehun.me/posts/vestigekv-the-nope-mla-kv-cache-carries-its-own-eviction-signal-in-a-vestigial-branch/Wed, 09 Sep 2026 00:00:00 +0900https://jaehun.me/posts/vestigekv-the-nope-mla-kv-cache-carries-its-own-eviction-signal-in-a-vestigial-branch/<p><a href="https://arxiv.org/abs/2609.03949v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="vestigekv-퇴화한-rope-가지가-스스로-캐시-축출-신호를-품고-있다">VestigeKV: 퇴화한 RoPE 가지가 스스로 캐시 축출 신호를 품고 있다<a href="#vestigekv-%ed%87%b4%ed%99%94%ed%95%9c-rope-%ea%b0%80%ec%a7%80%ea%b0%80-%ec%8a%a4%ec%8a%a4%eb%a1%9c-%ec%ba%90%ec%8b%9c-%ec%b6%95%ec%b6%9c-%ec%8b%a0%ed%98%b8%eb%a5%bc-%ed%92%88%ea%b3%a0-%ec%9e%88%eb%8b%a4" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><h2 id="한-줄-요약-tldr">한 줄 요약 (TL;DR)<a href="#%ed%95%9c-%ec%a4%84-%ec%9a%94%ec%95%bd-tldr" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p><strong>NoPE-MLA</strong> 모델(Kimi Linear 48B)에서, 훈련이 <em>샐리언스 채널</em> 로 재용도한 64차원 <strong>decoupled branch</strong> — RoPE의 &ldquo;퇴화 기관(vestige)&rdquo; — 를 행의 <strong>11%</strong> 만 읽어 쿼리 독립적인 중요도 신호를 얻고, <strong>8~32배</strong>(회수 계층 포함 시 <strong>128배</strong>) KV 캐시 압축을 해내면서 검색 성능을 유지한다. 가중치·커널·연산은 전혀 건드리지 않는 <strong>순수 캐시 정책</strong> 이다 (근거: Abstract).</p>