Kv-Cache on Jaehun's Blog

SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking

Tue, 15 Sep 2026 00:00:00 +0900

논문 링크

SAS: 증류 없이 문맥 랭킹을 직접 학습하는 단순한 어텐션 스파시피케이션

TL;DR — 사후 학습(post-training) 어텐션 스파시피케이션에서, 선택기(selector)가 만든 연속 점수를 어텐션 로짓에 로그 게이트(log gate) 로 주입한다. 이렇게 하면 이산 Top-K 선택이 막고 있던 기울기를 우회해, 보조 증류(distillation) 없이 언어모델링 손실로 선택기를 종단 간 학습할 수 있다. 결과적으로 Qwen3-4B/8B/14B에서 타이트한 예산(1024 토큰)일 때 SeerAttention-R 대비 GPQA-Diamond를 최대 +15.5점 끌어올렸고, 디코딩 지연은 512K 문맥에서 최대 5.6× 절감했다.

VestigeKV: The NoPE-MLA KV Cache Carries Its Own Eviction Signal in a Vestigial Branch

Wed, 09 Sep 2026 00:00:00 +0900

논문 링크

VestigeKV: 퇴화한 RoPE 가지가 스스로 캐시 축출 신호를 품고 있다

한 줄 요약 (TL;DR)

NoPE-MLA 모델(Kimi Linear 48B)에서, 훈련이 샐리언스 채널 로 재용도한 64차원 decoupled branch — RoPE의 “퇴화 기관(vestige)” — 를 행의 11% 만 읽어 쿼리 독립적인 중요도 신호를 얻고, 8~32배(회수 계층 포함 시 128배) KV 캐시 압축을 해내면서 검색 성능을 유지한다. 가중치·커널·연산은 전혀 건드리지 않는 순수 캐시 정책 이다 (근거: Abstract).

ShallowStream: Index Shallow then Answer Deep for Streaming Video Understanding

Tue, 08 Sep 2026 00:00:00 +0900

논문 링크

ShallowStream: 얕게 인덱싱하고, 깊게 답하라 — 스트리밍 비디오 이해의 계산 병목을 푸는 방법

TL;DR — 스트리밍 비디오 이해에서 가장 비싼 비용은 매 프레임을 MLLM의 전체 깊이(28~32개 레이어) 로 prefill하는 것이다. ShallowStream은 얕은 레이어 4~5개 만으로 프레임 인코딩과 검색 인덱스를 동시에 구축하고, 질문이 들어온 순간에만 검색된 증거에 대해 전체 깊이 연산을 수행한다. 그 결과 SOTA 수준의 성능(OVO-Bench 69.5 / StreamingBench 78.2)을 유지하면서, 프레임당 prefill은 최대 52.1배, 10초 구간 엔드투엔드 지연은 최대 11.9배 줄였다 (근거: Abstract).

BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference

Mon, 07 Sep 2026 00:00:00 +0900

논문 링크

모델이 ‘생각을 다시 꺼내 보는’ 순간을 잡아라: BeaconKV가 비콘 쿼리로 추론 KV 캐시를 5.8배 압축하는 법

TL;DR — Large Reasoning Model(LRM)은 긴 Chain-of-Thought(CoT)를 생성할수록 KV 캐시가 선형으로 불어나, Qwen3-4B가 32K 토큰을 배치 크기 16으로 생성하면 KV 캐시만 77 GB 를 넘어 80 GB GPU 한계에 닿는다 (근거: §1). 기존 압축 기법들은 최근 쿼리(recent queries) 로 미래의 중요 토큰을 예측하는데, 추론 중에는 모델이 멀리 떨어진 과거 맥락(문제 정의·풀이 계획)을 다시 읽는 Thought Revisiting Token(TRT) 이라는 현상 때문에 이 가정이 무너진다 (근거: §3). BeaconKV는 TRT를 유발하는 전역 쿼리(global query) 가 임베딩 공간에서 소수의 군집을 이룬다는 기하학적 통찰을 바탕으로, 각 군집을 대표하는 비콘 쿼리(beacon query) 를 Continual FPS로 온라인 선정해 KV 캐시를 압축한다. 그 결과 최대 5.8× 메모리 절감(77.0 → 13.3 GB), 4.3× 처리량 향상(82.3 → 356.4 tokens/s) 을 달성하면서, RPC·R-KV 대비 최대 31.7 pp 의 정확도 향상을 얻는다 (근거: §5.4, Fig. 8).

Language Models Can Control Their Own Attention

Mon, 07 Sep 2026 00:00:00 +0900

논문 링크

언어 모델이 스스로 어텐션을 통제한다: Declarative Attention

TL;DR — 기존의 희소 어텐션(sparse attention)은 매 디코딩 스텝마다 어떤 토큰이 중요한지 외부에서 근사 하느라 여전히 $O(N)$ 비용을 지불했다. 이 논문은 방향을 틀어, 모델이 Chain-of-Thought(CoT) 안에서 자신이 어디를 볼지 직접 “선언” 하게 한다. 추론 엔진은 이 선언을 도구 호출(tool call)처럼 파싱해 KV 캐시 읽기를 대부분 생략한다. 학습 없이(zero-shot) Gemma-4-31B에서 디코딩 어텐션 비용 52.0% 절감, 정확도 하락은 1.27pp 에 불과하다 (근거: §1, §5.1).

Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving

Mon, 07 Sep 2026 00:00:00 +0900

논문 링크

같은 요청, 다른 답: 프리픽스 캐시가 서빙을 비재현적으로 만들고, 양자화가 이를 증폭시킨다

TL;DR — 프리픽스 캐시는 “투명한 최적화"로 여겨지지만 투명하지 않다. 캐시를 끄면 동일 워크로드의 반복 실행이 10개 설정 × 80에피소드 = 800개 전부 비트 단위로 동일 하게 재현되는 반면 (근거: Tab. 2), 캐시를 켜면 에이전트의 궤적이 16비트에서 36.2%, 4비트 양자화에서 75.0% 나 바뀐다 (근거: §IV-D). 그런데 평균 정확도는 움직이지 않는다 — 이것은 “열화(degradation)“가 아니라 “불안정성(instability)“이며, 둘은 다른 대응을 요구한다 (근거: §IV-F, §V).

SGD-KV: Summarization Guided KV Cache Compression

Mon, 07 Sep 2026 00:00:00 +0900

논문 링크

SGD-KV: ‘요약을 잘하는 헤드’를 찾아 1M 토큰의 KV 캐시를 75%까지 줄인다

TL;DR — 어텐션 헤드는 모두 같은 일을 하지 않는다. ‘요약’이라는 고차원 정보 압축을 담당하는 summarization heads 를 진단 태스크로 찾아내고, 그 점수에 비례해 KV 캐시 예산을 나눠주는 SGD-KV 가 최대 100만(1M) 토큰 컨텍스트에서 KV 캐시 메모리를 최대 75% 줄이면서도 기존 헤드 단위 압축 기법들을 압도한다.

Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning

Sun, 06 Sep 2026 00:00:00 +0900

논문 링크

점수는 낭비였다: KV 캐시 eviction에서 ‘무작위 추출’이 최강자와 동률이 되는 역설 — Random Attention 심층 리뷰

TL;DR — 추론 특화 KV 캐시 eviction 연구는 전부 “어떤 토큰이 나중에 중요한가"를 점수화해서 top-K 를 고르는 문제였다. Random Attention 은 프롬프트만 +∞로 강제 보존하고 나머지는 점수 없이 헤드별로 균등 무작위 eviction 하는데, 4개 모델·6개 추론 태스크에서 최강 베이스라인(TriAttention)과 동급 정확도(60개 비교 셀 중 31개에서 통계적 우위, 1개에서만 유의 열세)를 보이면서 vLLM 서빙에서는 스코어링 패스가 없어 32–43% 높은 처리량을 낸다 (근거: §1, Fig. 1, Tab. 1, Tab. 4).