Rethinking Sequence Compression with Test-time Regression
도입 긴 문맥을 다루는 모델에서 여러 토큰을 하나의 벡터로 줄이는 압축 연산이 성능 병목이 된다. 이 논문은 압축을 가중 평균 선택이 아니라, 토큰들이 정의하는 회귀 문제의 계수를 구하는 문제로 다시 본다. TTR-Compressor는 입력 토큰에서 라벨 없이 릿지 회귀 문제를 만들고, 그 닫힌 형태 해…
Long Context
문맥 길이가 늘어나면 어텐션 비용과 KV 캐시가 함께 커집니다. 이 태그의 글들은 대체로 네 갈래 중 하나입니다.
- 어텐션을 희소하게 — 하드웨어에 맞춰 학습까지 가능한 희소 어텐션
- 문맥을 줄였다 되살리기 — 압축 후 필요할 때 다시 계산
- 구조를 바꾸기 — 상태공간 모델과 Transformer 의 관계
- 서빙에서 감당하기 — 백만 토큰급 요청을 나눠 처리하는 병렬화
36페이지
Cache Engineering for Agents
긴 에이전트 궤적이 만드는 비용과 정확도 딜레마 LLM 에이전트는 추론과 도구 호출을 수백 라운드 반복하며 긴 궤적을 쌓는다. 추론을 빠르게 만들려면 이미 계산한 key-value(KV) 캐시를 GPU에 두고 다음 토큰마다 다시 읽어야 하는데, 궤적이 길어질수록 저장·읽기 비용이 커진다. 논문은 KV 캐…
DLite: History-free Speculative Decoding for Agentic AI
본체의 내부 표현을 재사용해 초안 모델의 과거 KV 캐시를 없애는 DLite를 작은 예시와 실제 속도 비교로 설명합니다.
FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention
FlashMask-3의 Hopper 커널과 마스크 국소화, 부하 균형, 통신 중첩을 분석하고 장문 훈련 실험의 조건과 한계를 짚습니다.
HLA-WM: 카메라 기하로 되찾는 비디오 세계 모델의 장기 기억
카메라 기하로 과거 청크를 검색해 장면 재방문 시 기억을 복원합니다. 60초 실험에서 Full KV보다 약 12배 적고 GDN보다 약 6배 많은 메모리를 쓰는 절충을 살펴봅니다.
Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
Mechanics of Long-Context Hybrid Models: 하이브리드 어텐션에서 하이브리드 포지션으로 TL;DR — 요즘 오픈소스 LLM은 "full attention만 쓰는" 모델에서 "full attention + Sliding-Window Attention(SWA) 또는 Linear…
SlimKV: Joint Token-Feature KV Cache Compression with Reconstruction-Free Beacon Attention
SlimKV: 토큰과 피처를 함께 압축하고, 복원 없는 잠재 공간 어텐션으로 KV 캐시를 32배까지 줄이다 TL;DR SlimKV는 긴 문맥(long-context) LLM 추론의 병목인 KV 캐시를 토큰 축(token-wise)과 피처 축(feature-wise)에서 동시에 압축하는 질문-독립적…
Tailoring the Quantization Space for 1-Bit KV Cache Compression
TaSQ: 1비트 KV 캐시를 위한 양자화 공간 '맞춤 설계' TL;DR — TaSQ(Tailored Space Vector Quantization)는 벡터 양자화(VQ)가 적용될 타깃 공간 자체를 재설계해, KV 캐시를 채널당 약 1.25비트로 압축하면서도 BF16에 근접한 품질을 유지한다. 핵심은 쿼…
Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
서로 다른 LLM 사이에서 KV 캐시를 그대로 건네받는 법: HeteroFold 한 줄 요약 (TL;DR) : 서로 다른 토크나이저와 구조를 가진 모델 사이에서도 수신자가 다시 프리필하지 않고 KV 캐시를 재사용하는 방법 HeteroFold가 6개 방향 모두에서 기존 캐시 전송을 앞지르고 32K 문맥에서…
The KV Cache Is the New Memory Wall
KV 캐시가 새로운 메모리 월(Memory Wall)이다: 장문맥 LLM 추론의 세 영역과 다섯 도메인 TL;DR — 장문맥 LLM의 디코드(decode) 추론은 산술 연산이 아니라 메모리 대역폭에 묶이며, 문맥 길이가 계산 가능한 특정 "크로스오버(crossover)" 지점을 넘어서면 병목이 모델 가중…
WavePP: High-Throughput Pipeline Parallel LLM Prefill under Prefix Reuse
WavePP — 프리픽스 재사용을 태우는 파이프라인 병렬 프리필 런타임 TL;DR TensorRT-LLM 위에 구축한 WavePP 는 요청 admission(재사용 합의·캐시 보호·용량 예약)을 파이프라인 실행과 비동기로 겹쳐 처리 하고, wave 크기를 동적으로 조절해 파이프라인을 꽉 채운다. 동일 커…
Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
위상 감수성(Phase Sensitivity): 청크 단위 KV 캐시 압축이 만드는 '주기적 약점' TL;DR — 청크 단위 KV 캐시 압축을 쓰는 모델(DeepSeek-V4 계열 등)에서, 같은 정보라도 압축 창 경계를 기준으로 한 '위상(phase)'에 따라 검색 성능이 최대 40pp까지 주기적으로…
MassAlloc Attention: Let Attention Allocate Its Own Compute
MassAlloc Attention(MALA): 어텐션이 스스로 연산을 배분하게 하다 TL;DR — 풀 소프트맥스 어텐션(FullAttn)은 매 causal 타일마다 QK 점수 생성 이후 의 연산(post-score)을 전부 수행하지만, MALA는 어텐션이 스스로 만든 정규화 기여도(normalized…
WorldAttention: An Efficient Attention Architecture for Interactive Video World Models
WorldAttention: 슬라이딩 윈도우를 버린 인터랙티브 비디오 월드 모델의 시스템 공동 설계 TL;DR — 텍스트로 제어되는 인터랙티브 비디오 월드 모델은 "전체 히스토리를 기억해야 한다"는 요구와 "KV 캐시가 선형으로 불어 GPU 메모리가 터진다"는 현실 사이에 갇혀 있다. 알리바바 DAMO…
Block Sparse Attention with Log-Linear Complexity
PISA: 피라미드 Top-$K$ 선택으로 블록 스파스 어텐션의 비용을 $O(N\log N)$으로 낮추다 TL;DR — 블록 스파스 어텐션에서 '어텐션 계산'은 선형이지만 '블록 선택'이 여전히 이차 비용이라는 문제를, 키(key)를 평균 풀링으로 피라미드 계층화하고 각 레벨에서…
GDN Tree-Scan: Served Tree Verification for Recurrent-Hybrid Language Models
LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models TL;DR — Gated DeltaNet과 full-attention을 섞은 하이브리드 모델에서 트리 스페큘레이티브 디코딩을 하려면, recurrent 상태·컨볼루션 히…
Adapting Tree-Structured Speculative Decoding to DeepSeek-V4 for Efficient Inference
압축된 기억 위에서 가지를 뻗기: DeepSeek-V4에 트리 추론을 얹은 이야기 TL;DR DeepSeek-V4-Flash에 트리 구조 추론적 디코딩을 올리면 같은 검증 예산에서 더 긴 채택 길이와 최대 약 18.5% 의 디코드 처리량 향상을 얻는다 (근거: §5, Fig. 4) . 핵심은 트리 자체가…
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
DeepSeek-V4.1-Flash: KV 캐시를 1/4로 줄이면서 성능은 더 끌어올린 멀티모달 MoE 한 줄 요약 (TL;DR). DeepSeek-AI가 공개한 DeepSeek-V4.1-Flash 는 552B 백본 파라미터의 멀티모달 MoE로, 최대 1M 토큰 컨텍스트를 지원한다. Causal…
Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches
Fathom: 쿼리마다 깊이를 바꾸는 스캔으로 1M 토큰 디코딩을 1.67배 빠르게 하다 한 줄 요약 (TL;DR) 에이전트 세션이 1M 토큰까지 길어지고 수십 세션이 동시에 상주하면 KV 캐시와 이를 랭킹하는 인덱스가 호스트 메모리에 살게 되고, 매 디코드 스텝의 top-k 스캔이 PCIe 바이트에 의…
ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search
ZGCM-1: 7B 밀집 모델이 235B 프런티어와 겨루는 법 — 완전 개방형·초고효율 파운데이션 모델 설계 보고서 TL;DR — ZGCM-1은 7.39B 밀집(dense) 모델 하나로 AIME 2026 75.0%, WebWalkerQA 63.1%, Binary Function Search 62.0%를…
SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
SAS: 증류 없이 문맥 랭킹을 직접 학습하는 단순한 어텐션 스파시피케이션 TL;DR — 사후 학습(post-training) 어텐션 스파시피케이션에서, 선택기(selector)가 만든 연속 점수를 어텐션 로짓에 로그 게이트(log gate) 로 주입한다. 이렇게 하면 이산 Top-K 선택이 막고 있던…
Kalman Delta Networks: Uncertainty-aware Associative Memory
칼만 필터로 다시 쓴 선형 어텐션: Kalman Delta Networks 한 줄 요약 (TL;DR) 선형 어텐션(linear attention)의 고정 크기 recurrent memory 갱신을 선형-가우시안 상태공간 모델 로 재해석하고, 최적 추정기인 칼만 필터(Kalman filter) 의 공분산…
Deadline-Aware Adaptive Prefill Chunking for Efficient Large Language Model Serving
데드라인을 채우는 프리필 청크: SLOWeave — LLM 서빙의 적응형 청킹 스케줄러 TL;DR — 고정된 프리필 청크 크기 대신, 매 반복(iteration)마다 "가장 이른 디코드 데드라인 전에 끝나는 가장 큰 프리필 청크"를 이진 탐색으로 선택하는 온라인 스케줄러 SLOWeave를 제안한다. 25…
Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs
비디오 LLM은 왜 아직도 비싼가? — 추론 효율화 메커니즘 4단계 총정리 TL;DR — 이 논문은 2022년 말부터 2026년 8월까지 발표된 VideoLLM 추론 효율화 연구 125편을 엔코더–커넥터–LLM 파이프라인의 4단계로 분류하고, "같은 호스트 모델 · 같은 입력 프로토콜"에서만 통제 비교를…
Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training
대규모·장문맥 RL 사후학습에서 Speculative Decoding을 실용화하는 두 가지 설계 TL;DR : RL 사후학습의 벽-클록 시간을 지배하는 롤아웃 생성을 speculative decoding으로 가속하고, 여기에 온라인 드래프트 공동학습(co-training) 을 더해 정책이 진화해도 드래프…
Unlocking Lossless Speedups in LLMs via Discrete Diffusion
Uno: AR과 Diffusion을 하나의 모델에 — 무손실 병렬 생성을 통한 LLM 가속 TL;DR — LLM이 느린 이유는 next-token prediction(NTP)이 한 번에 토큰 하나씩만 내놓는 순차 구조 때문이다. Uno는 하나의 아키텍처에 품질을 책임지는 AR 가중치 와 속도를 책임지는…
Language Models Can Control Their Own Attention
언어 모델이 스스로 어텐션을 통제한다: Declarative Attention TL;DR — 기존의 희소 어텐션(sparse attention)은 매 디코딩 스텝마다 어떤 토큰이 중요한지 외부에서 근사 하느라 여전히 $O(N)$ 비용을 지불했다. 이 논문은 방향을 틀어, 모델이…
SGD-KV: Summarization Guided KV Cache Compression
SGD-KV: '요약을 잘하는 헤드'를 찾아 1M 토큰의 KV 캐시를 75%까지 줄인다 TL;DR — 어텐션 헤드는 모두 같은 일을 하지 않는다. '요약'이라는 고차원 정보 압축을 담당하는 summarization heads 를 진단 태스크로 찾아내고, 그 점수에 비례해 KV 캐시 예산을 나눠주는…
![[논문리뷰]: Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models](https://paper-assets.alphaxiv.org/figures/2601.07372v1/img-0.jpeg)
[논문리뷰]: Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models
Engram: 조건부 연산(MoE) 이후의 두 번째 희소성 축, 조건부 메모리(Conditional Memory) 한 줄 요약 (TL;DR) Engram은 Transformer에 “지식 조회(lookup) primitive”를 추가해, 표준 모델이 early layer에서 수행하던 정적 지식/로컬 패턴…
![[논문리뷰] Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality](https://icml.cc/media/PosterPDFs/ICML%202024/32613.png)
[논문리뷰] Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
Structured State Space Duality: Mamba-2로 본 SSM↔Attention 통일과 2–8× 가속 한 줄 요약 (TL;DR) SSD(Structured State-Space Duality) 는 SSM과 마스킹 어텐션이 동일 함수를 서로 다른 수축 순서로 계산한다는 통찰을 제시하고…
![[논문리뷰] KIMI K2: OPEN AGENTIC INTELLIGENCE](https://github.com/MoonshotAI/Kimi-K2/raw/main/figures/kimi-logo.png){kind=logo}
[논문리뷰] KIMI K2: OPEN AGENTIC INTELLIGENCE
Kimi K2: 오픈소스 LLM이 에이전트 지능을 향해 내딛은 한 걸음 TL;DR MuonClip 프리트레인 + 대규모 에이전틱 툴 데이터 + Verifiable‑RL 정렬의 3‑단계 파이프라인으로, Kimi K2는 τ²‑Bench 66.1·SWE‑bench 65.8 등에서 기존 오픈소스 모델을 두 자릿…
![[논문리뷰] Qwen3 Technical Report](https://qianwen-res.oss-accelerate-overseas.aliyuncs.com/logo_qwen3.png){kind=logo}
[논문리뷰] Qwen3 Technical Report
Qwen 3: 생각량을 조절하는 거대 MoE 언어모델의 진화 한 줄 요약 (TL;DR) Qwen 3는 “얼마나 깊게 생각할지”를 토큰 수치로 직접 제어할 수 있는 Thinking Budget과 128-전문가 MoE 설계를 결합해, 활성 파라미터 22 B 만으로도 기존 100 B+ 밀집 모델을 넘어서는 성…
Code I/O: Condensing Reasoning Patterns via Code Input-Output Prediction
CODE I/O: 코드 입·출력 + 자연어 CoT로 범용 추론까지 — 데이터 설계만으로 7B-30B LLM을 평균 +2 점 끌어올리다 TL;DR “코드 함수 → 입력·출력 예측 + 체계적 Chain-of-Thought(CoT)”라는 단일 데이터 파이프라인만으로, 3.5 M 샘플이 14 M 규모 SOTA…
Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
Native Sparse Attention (NSA) — 64 k 토큰도 11× 빠르게, 정확도는 그대로 한 줄 요약 (TL;DR) NSA는 ‘압축 → 선택 → 슬라이딩’ 3 분기 희소 어텐션과 GQA/MQA-친화 커널을 결합해 64 k 컨텍스트에서 디코딩 속도를 11.6 배, 학습 속도를 최대 9 배…
KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction
⚡️TL;DR KVzip는 LLM의 KV 캐시를 한 번 압축해도 이후 모든 질의 · 세션에서 재사용할 수 있도록 설계된 query-agnostic 캐시 컴프레서다. 그 결과 정확도 손실 ≤ 3 pp를 유지하면서 레이턴시 2 × ↓, 메모리 60–394 × ↓를 동시에 달성한다. 핵심 아이디어 “프리필은…
Compress, Gather, and Recompute: REFORMingLong-Context Processing in Transformers
⚡️ REFORM: 100만 토큰도 잊지 않는 LLM 추론 파이프라인 한 줄 요약 (TL;DR) REFORM은 압축(Compress) → 선별(Gather) → 선택적 재계산(Recompute) 세 단계를 하나로 묶어, 단일 H100 GPU에서도 100 만 토큰 문맥을 망각 없이 다루고 추론 지연·메모리…