TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving
TAO: LLM 기반 에이전트 서빙을 위한 도구 인지 통합 스케줄링 도입 에이전트는 모델 추론과 외부 도구 실행을 번갈아 수행한다. 도구가 도는 동안 그 세션의 GPU 수요는 중단 가능해지며, 이 빈 구간을 어떻게 쓰고 세션이 돌아왔을 때 어느 노드에 붙이느냐가 응답 시간을 좌우한다. 이 논문은 두 문제…
Large Language Models
32페이지
Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization
최근 언어 모델은 어휘 하나에 담는 정보를 계속 키우고 있다. Gemma 3n에서 처음 도입된 레이어별 임베딩(PLE)은 Gemma 4로 이어졌고, 어휘 항목마다 입력층 하나의 벡터 대신 디코더 레이어마다 다른 학습 벡터를 둔다. 이 글은 이 테이블을 약 100배 줄이면서 원본 성능 대부분을 유지하는…
Rethinking Sequence Compression with Test-time Regression
도입 긴 문맥을 다루는 모델에서 여러 토큰을 하나의 벡터로 줄이는 압축 연산이 성능 병목이 된다. 이 논문은 압축을 가중 평균 선택이 아니라, 토큰들이 정의하는 회귀 문제의 계수를 구하는 문제로 다시 본다. TTR-Compressor는 입력 토큰에서 라벨 없이 릿지 회귀 문제를 만들고, 그 닫힌 형태 해…
Large Flow Language Models
토큰을 하나씩 뽑는 순차 병목 대형 언어 모델은 학습 때 문장 전체를 함께 계산할 수 있지만, 글을 만들 때는 앞 토큰을 알아야만 다음 토큰을 고를 수 있다. GPU가 아무리 빨라도 이 순서를 한 번에 건너뛸 수 없어 생성 지연이 커진다. 이 글은 이 병목을 블록 단위 flow로 푸는 Lafa(Large…
DCOCO: 병렬 드래프트의 토큰 의존성을 보정하는 추측 디코딩
병렬 드래프터가 이미 만든 후보를 맥락에 맞게 다시 선택합니다. 수용 길이와 실제 처리량을 구분하고, 동시 요청 환경에서 보정 비용이 속도에 미치는 영향을 살펴봅니다.
루프 언어 모델의 고정점: KV 공유·상태 재사용·증류로 비용 줄이기
반복 계산이 고정점에 가까워지는 성질로 KV 공유와 상태 재사용을 설명합니다. 최대 1.6B 모델에서 검증한 메모리·학습·프리필 비용 절감과 정확도 절충을 정리합니다.
SparseDecoding: 생성 중 활성화로 프루닝 품질을 높이는 방법
모델이 직접 생성한 토큰으로 프루닝을 보정하고 디코딩 전용 커널을 결합합니다. A100 실험에서 최대 1.48배 가속을 얻은 조건과 품질 손실을 살펴봅니다.
TokenRouter: Efficient Serving System for Token-Level LLM Routing
TokenRouter: 토큰 단위 LLM 라우팅을 위한 효율적 서빙 시스템 TL;DR — LLM을 세션·쿼리 단위가 아니라 토큰 단위로 라우팅하면 비용-품질 파레토 프론티어를 크게 끌어올릴 수 있지만, 단일 LLM 가정에 묶인 기존 서빙 스택(vLLM, SGLang)에서는 스텝 탈동기화·배치 수용 지연·…
Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
Mechanics of Long-Context Hybrid Models: 하이브리드 어텐션에서 하이브리드 포지션으로 TL;DR — 요즘 오픈소스 LLM은 "full attention만 쓰는" 모델에서 "full attention + Sliding-Window Attention(SWA) 또는 Linear…
TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
TRACE: 롤아웃을 따라가는 FP4 양자화 인식 학습 — MoE LLM의 강화학습을 BF16 성능 그대로, 최대 5.4배 빠르게 한 줄 요약 (TL;DR) MoE LLM의 강화학습(RL)에서 롤아웃 생성을 FP4(W4A4 + FP4 KV) 로 양자화하면 생성 속도가 최대 5.4배 빨라지지만, 학습 경로…
SlimKV: Joint Token-Feature KV Cache Compression with Reconstruction-Free Beacon Attention
SlimKV: 토큰과 피처를 함께 압축하고, 복원 없는 잠재 공간 어텐션으로 KV 캐시를 32배까지 줄이다 TL;DR SlimKV는 긴 문맥(long-context) LLM 추론의 병목인 KV 캐시를 토큰 축(token-wise)과 피처 축(feature-wise)에서 동시에 압축하는 질문-독립적…
Tailoring the Quantization Space for 1-Bit KV Cache Compression
TaSQ: 1비트 KV 캐시를 위한 양자화 공간 '맞춤 설계' TL;DR — TaSQ(Tailored Space Vector Quantization)는 벡터 양자화(VQ)가 적용될 타깃 공간 자체를 재설계해, KV 캐시를 채널당 약 1.25비트로 압축하면서도 BF16에 근접한 품질을 유지한다. 핵심은 쿼…
Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
서로 다른 LLM 사이에서 KV 캐시를 그대로 건네받는 법: HeteroFold 한 줄 요약 (TL;DR) : 서로 다른 토크나이저와 구조를 가진 모델 사이에서도 수신자가 다시 프리필하지 않고 KV 캐시를 재사용하는 방법 HeteroFold가 6개 방향 모두에서 기존 캐시 전송을 앞지르고 32K 문맥에서…
On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
온폴리시는 만능이 아니다: 증류 동역학에서 롤아웃 정책·KL 방향·학습률의 진짜 주인공 TL;DR — 강-약 증류(strong-to-weak distillation)에서 온폴리시(OnPD)와 오프폴리시(OffPD)를 분리해 보면, 최종 성능·망각·업데이트 희소성을 좌우하는 것은 롤아웃 정책이 아니라 KL…
Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
위상 감수성(Phase Sensitivity): 청크 단위 KV 캐시 압축이 만드는 '주기적 약점' TL;DR — 청크 단위 KV 캐시 압축을 쓰는 모델(DeepSeek-V4 계열 등)에서, 같은 정보라도 압축 창 경계를 기준으로 한 '위상(phase)'에 따라 검색 성능이 최대 40pp까지 주기적으로…
Block Sparse Attention with Log-Linear Complexity
PISA: 피라미드 Top-$K$ 선택으로 블록 스파스 어텐션의 비용을 $O(N\log N)$으로 낮추다 TL;DR — 블록 스파스 어텐션에서 '어텐션 계산'은 선형이지만 '블록 선택'이 여전히 이차 비용이라는 문제를, 키(key)를 평균 풀링으로 피라미드 계층화하고 각 레벨에서…
GDN Tree-Scan: Served Tree Verification for Recurrent-Hybrid Language Models
LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models TL;DR — Gated DeltaNet과 full-attention을 섞은 하이브리드 모델에서 트리 스페큘레이티브 디코딩을 하려면, recurrent 상태·컨볼루션 히…
Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
Flash-dLLM: I/O를 먼저 본 Diffusion LLM 가속, 퓨즈드 캐시와 셀프 검증으로 210.6 tokens/s 를 열다 한 줄 요약 (TL;DR) Diffusion LLM(dLLM)은 병렬 디노이징이 가능하지만 KV 캐시 재사용과 병렬 디코딩을 함께 쓰면 GPU 메모리 I/O가 병목이 된…
H-Spec: Parallel Speculative Decoding Without a Drafter-Side KV Cache
Drafter-Side KV Cache 없이 병렬 추론하기: H-Spec의 하이브리드 추측 디코딩 TL;DR 은 블록 확산 드래프터가 매 토큰마다 타깃 은닉 상태를 투영해 별도 KV 캐시를 유지해야 한다는 점이 동시 서빙의 병목임을 보이고, 타깃 KV 제자리 재사용과 마지막 토큰 은닉 상태 $O(1)$…
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
DeepSeek-V4.1-Flash: KV 캐시를 1/4로 줄이면서 성능은 더 끌어올린 멀티모달 MoE 한 줄 요약 (TL;DR). DeepSeek-AI가 공개한 DeepSeek-V4.1-Flash 는 552B 백본 파라미터의 멀티모달 MoE로, 최대 1M 토큰 컨텍스트를 지원한다. Causal…
StepAudio 3 Gen Technical Report
StepAudio 3 Gen: 이산 자회귀(RVQ) 하나로 음성·노래·음악·효과음을 통합하다 한 줄 요약 (TL;DR) StepFun이 발표한 StepAudio 3 Gen 은 12.5 Hz 프레임률의 $16 \times 2048$ 잔차 벡터 양자화(RVQ) 토크나이저로 모든 오디오를 하나의 공유 이산 코…
SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
SAS: 증류 없이 문맥 랭킹을 직접 학습하는 단순한 어텐션 스파시피케이션 TL;DR — 사후 학습(post-training) 어텐션 스파시피케이션에서, 선택기(selector)가 만든 연속 점수를 어텐션 로짓에 로그 게이트(log gate) 로 주입한다. 이렇게 하면 이산 Top-K 선택이 막고 있던…
SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions
SQS: 가지치기와 양자화를 하나의 베이지안 학습으로 — 스파이크-앤-슬랩과 GMM의 만남 TL;DR — 프루닝(pruning)과 저비트 양자화(quantization)를 따로 하면 남는 잉여가 생긴다. SQS는 스파이크-앤-슬랩 사전분포와 가우시안 혼합 모델(GMM)을 하나의 변분…
X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
X-AuT: 행동 프로브와 크로스스케일 증류로 음성 LLM의 오디오 인코더를 깎아내는 방법 한 줄 요약 (TL;DR) 음성 LLM의 오디오 인코더(오디오 Transformer)를 18→16→14 레이어로 점진적으로 프루닝 하면서, 짧은 행동 프로브(behavioral probe) 로 회복 가능한 레이어…
Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs
비디오 LLM은 왜 아직도 비싼가? — 추론 효율화 메커니즘 4단계 총정리 TL;DR — 이 논문은 2022년 말부터 2026년 8월까지 발표된 VideoLLM 추론 효율화 연구 125편을 엔코더–커넥터–LLM 파이프라인의 4단계로 분류하고, "같은 호스트 모델 · 같은 입력 프로토콜"에서만 통제 비교를…
Miles v0.1: Production-Level Post-Training
Miles v0.1: 프론티어 RL 사후학습을 위한 "검증·청결·확장 가능"한 풀스택 시스템 TL;DR : Miles는 rolluout 생성과 트레이닝이 서로 다른 엔진·커널·정밀도로 돌아가며 발생하는 train-rollout mismatch를 시스템 차원에서 해결하는 풀스택 RL 사후학습 프레임워크다.…
[논문리뷰] Peri-LN: Revisiting Normalization Layer in the Transformer Architecture
Peri-LayerNorm: Post-LN와 Pre-LN을 넘어서는 세 번째 선택지 한 줄 요약 (TL;DR) Residual 직후에 LayerNorm을 한 번 더 넣는 “Peri-LayerNorm(Peri-LN)” 구조만으로 — 400 M→3.2 B 파라미터 LLM에서 FP16 오버플로를 0 건으로 만…
Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling
Janus-Pro 7B: Dual-Encoder Multimodal LLM That Outsmarts Bigger Models 한 줄 요약 (TL;DR) SigLIP 이해 인코더 + VQ 생성 인코더를 완전히 분리한 뒤 7 B 파라미터 LLM에 붙이는 ‘Dual-Encoder + Adapter’ 설계로,…
Fire-Flyer AI-HPC: A Cost-Effective Software-Hardware Co-Design for Deep Learning
한 줄 요약 (TL;DR) Fire-Flyer 2는 1만 대의 PCIe A100 GPU를 HFReduce·HaiScale 스택으로 묶어 DGX-A100의 80 %대 성능을 장비·전력 40 % 절감으로 달성한 ‘가성비형 초대규모 LLM 훈련 클러스터’다. 핵심 아이디어 PCIe GPU + CPU 감축 +…
Accelerated Test-Time Scaling with Model-Free Speculative Sampling
한 줄 요약 (TL;DR) STAND (STochastic Adaptive N-gram Drafting)은 추가 학습이나 별도 드래프트 모델 없이도 대규모 LLM의 테스트-타임 스케일링(Test-Time Scaling)을 가속한다. 표준 오토리그레시브 디코딩 대비 추론 지연을 60 \ 65 % 줄이고 처…
KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction
⚡️TL;DR KVzip는 LLM의 KV 캐시를 한 번 압축해도 이후 모든 질의 · 세션에서 재사용할 수 있도록 설계된 query-agnostic 캐시 컴프레서다. 그 결과 정확도 손실 ≤ 3 pp를 유지하면서 레이턴시 2 × ↓, 메모리 60–394 × ↓를 동시에 달성한다. 핵심 아이디어 “프리필은…
Towards MoE Deployment: Mitigating Inefficiencies in Mixture-of-Expert (MoE) Inference
MoE 추론의 패딩·마스크 비용을 줄이는 dynamic gating과 expert buffering, 부하 균형을 살펴봅니다. 처리량과 메모리 감소의 측정 조건을 구분합니다.