TL;DR — 추론 특화 KV 캐시 eviction 연구는 전부 “어떤 토큰이 나중에 중요한가"를 점수화해서 top-K 를 고르는 문제였다. Random Attention 은 프롬프트만 +∞로 강제 보존하고 나머지는 점수 없이 헤드별로 균등 무작위 eviction 하는데, 4개 모델·6개 추론 태스크에서 최강 베이스라인(TriAttention)과 동급 정확도(60개 비교 셀 중 31개에서 통계적 우위, 1개에서만 유의 열세)를 보이면서 vLLM 서빙에서는 스코어링 패스가 없어 32–43% 높은 처리량을 낸다 (근거: §1, Fig. 1, Tab. 1, Tab. 4).

With-Qwen3-8-Flash on Jaehun's Blog

Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning

점수는 낭비였다: KV 캐시 eviction에서 ‘무작위 추출’이 최강자와 동률이 되는 역설 — Random Attention 심층 리뷰