Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
위상 감수성(Phase Sensitivity): 청크 단위 KV 캐시 압축이 만드는 '주기적 약점' TL;DR — 청크 단위 KV 캐시 압축을 쓰는 모델(DeepSeek-V4 계열 등)에서, 같은 정보라도 압축 창 경계를 기준으로 한 '위상(phase)'에 따라 검색 성능이 최대 40pp까지 주기적으로…
Interpretability
3페이지
![[논문리뷰]: Memory Retrieval and Consolidation in Large Language Models through Function Tokens](https://moonlight-paper-snapshot.s3.ap-northeast-2.amazonaws.com/arxiv/memory-retrieval-and-consolidation-in-large-language-models-through-function-tokens-4.png)
[논문리뷰]: Memory Retrieval and Consolidation in Large Language Models through Function Tokens
Function Token Hypothesis: LLM “기억 검색”의 게이트는 왜 구두점과 개행인가 한 줄 요약 (TL;DR) 이 논문은 LLM의 기억을 “feature의 재활성화(retrieval) + 학습을 통한 feature 확장(consolidation)”으로 정의하고, function…
[논문리뷰] Massive Activations in Large Language Models
Massive Activations, Hidden Biases: 재해석된 Self-Attention의 비밀 한 줄 요약 (TL;DR) 수천만 개 중 4–10 개의 초거대 스칼라(×10 000) 가 LLM · ViT의 성능을 사실상 ‘혼자서’ 지탱한다. 이 스칼라는 입력과 무관한 상수형 자기-어텐션…