TL;DR — Large Reasoning Model(LRM)은 긴 Chain-of-Thought(CoT)를 생성할수록 KV 캐시가 선형으로 불어나, Qwen3-4B가 32K 토큰을 배치 크기 16으로 생성하면 KV 캐시만 77 GB 를 넘어 80 GB GPU 한계에 닿는다 (근거: §1). 기존 압축 기법들은 최근 쿼리(recent queries) 로 미래의 중요 토큰을 예측하는데, 추론 중에는 모델이 멀리 떨어진 과거 맥락(문제 정의·풀이 계획)을 다시 읽는 Thought Revisiting Token(TRT) 이라는 현상 때문에 이 가정이 무너진다 (근거: §3). BeaconKV는 TRT를 유발하는 전역 쿼리(global query) 가 임베딩 공간에서 소수의 군집을 이룬다는 기하학적 통찰을 바탕으로, 각 군집을 대표하는 비콘 쿼리(beacon query) 를 Continual FPS로 온라인 선정해 KV 캐시를 압축한다. 그 결과 최대 5.8× 메모리 절감(77.0 → 13.3 GB), 4.3× 처리량 향상(82.3 → 356.4 tokens/s) 을 달성하면서, RPC·R-KV 대비 최대 31.7 pp 의 정확도 향상을 얻는다 (근거: §5.4, Fig. 8).

2609.04971v1 on Jaehun's Blog

BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference

모델이 ‘생각을 다시 꺼내 보는’ 순간을 잡아라: BeaconKV가 비콘 쿼리로 추론 KV 캐시를 5.8배 압축하는 법