TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving
TAO: LLM 기반 에이전트 서빙을 위한 도구 인지 통합 스케줄링 도입 에이전트는 모델 추론과 외부 도구 실행을 번갈아 수행한다. 도구가 도는 동안 그 세션의 GPU 수요는 중단 가능해지며, 이 빈 구간을 어떻게 쓰고 세션이 돌아왔을 때 어느 노드에 붙이느냐가 응답 시간을 좌우한다. 이 논문은 두 문제…
Efficient Inference
51페이지
On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction
확산 언어 모델은 '무엇을'과 '어디를'을 동시에 정해야 한다 확산 언어 모델은 마스크된 토큰을 여러 번 반복해서 채워가며 문장을 만든다. 정확하게 디코딩하려면 한 번의 모델 forward마다 가장 확실한 마스크 위치 하나만 토큰으로 확정해야 해서 느리고, 속도를 올리려고 한 번에 여러 위치를 확정하면…
Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data
도입 대화형 서비스처럼 배치 크기가 1에 가까운 상황에서, 전문가 혼합 언어 모델의 지연 시간은 대부분 라우팅된 전문가 가중치를 GPU 메모리에서 읽는 데서 생긴다. 전문가 안의 중간 차원 대부분은 한 토큰에 거의 기여하지 않으므로, 어느 채널을 읽을지 먼저 고르면 읽는 양을 크게 줄일 수 있다. 이 논…
Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization
최근 언어 모델은 어휘 하나에 담는 정보를 계속 키우고 있다. Gemma 3n에서 처음 도입된 레이어별 임베딩(PLE)은 Gemma 4로 이어졌고, 어휘 항목마다 입력층 하나의 벡터 대신 디코더 레이어마다 다른 학습 벡터를 둔다. 이 글은 이 테이블을 약 100배 줄이면서 원본 성능 대부분을 유지하는…
Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation
문제: 이해와 생성을 하나의 표현으로 합치기 어려운 이유 이미지 이해와 이미지 생성을 한 모델로 합치려는 시도는 많다. 그러나 대부분은 두 능력을 서로 다른 표현 공간에서 따로 최적화한다. 텍스트는 토큰 분류 문제로, 이미지는 연속 벡터에 대한 확산·플로우 목표로 학습하면, 한 백본 안에서 두 목표가 서…
Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds
도입 비디오 생성 모델만으로 게임 세상을 만들면, 화면 밖에 놓인 상태는 어디에도 저장되지 않는다. 한 번 지나친 복도는 다시 그려질 때마다 달라지고, 체력 같은 규칙도 픽셀에서 다시 읽어야 한다. Matrix-Game 4.0은 규칙과 상태를 게임 엔진이 코드로 지키게 하고, 비디오 모델은 화면을 그리는…
Rethinking Sequence Compression with Test-time Regression
도입 긴 문맥을 다루는 모델에서 여러 토큰을 하나의 벡터로 줄이는 압축 연산이 성능 병목이 된다. 이 논문은 압축을 가중 평균 선택이 아니라, 토큰들이 정의하는 회귀 문제의 계수를 구하는 문제로 다시 본다. TTR-Compressor는 입력 토큰에서 라벨 없이 릿지 회귀 문제를 만들고, 그 닫힌 형태 해…
Large Flow Language Models
토큰을 하나씩 뽑는 순차 병목 대형 언어 모델은 학습 때 문장 전체를 함께 계산할 수 있지만, 글을 만들 때는 앞 토큰을 알아야만 다음 토큰을 고를 수 있다. GPU가 아무리 빨라도 이 순서를 한 번에 건너뛸 수 없어 생성 지연이 커진다. 이 글은 이 병목을 블록 단위 flow로 푸는 Lafa(Large…
Cache Engineering for Agents
긴 에이전트 궤적이 만드는 비용과 정확도 딜레마 LLM 에이전트는 추론과 도구 호출을 수백 라운드 반복하며 긴 궤적을 쌓는다. 추론을 빠르게 만들려면 이미 계산한 key-value(KV) 캐시를 GPU에 두고 다음 토큰마다 다시 읽어야 하는데, 궤적이 길어질수록 저장·읽기 비용이 커진다. 논문은 KV 캐…
Speculative Sampling in Interactive Video Generation
큰 청크로 만든 미래 영상을 재사용하면서 출력은 작은 단위로 확정합니다. 투기적 샘플링이 반응 지연을 줄이는 원리와 재계산 비용, 실제 서빙 실험의 조건을 살펴봅니다.
DLite: History-free Speculative Decoding for Agentic AI
본체의 내부 표현을 재사용해 초안 모델의 과거 KV 캐시를 없애는 DLite를 작은 예시와 실제 속도 비교로 설명합니다.
HLA-WM: 카메라 기하로 되찾는 비디오 세계 모델의 장기 기억
카메라 기하로 과거 청크를 검색해 장면 재방문 시 기억을 복원합니다. 60초 실험에서 Full KV보다 약 12배 적고 GDN보다 약 6배 많은 메모리를 쓰는 절충을 살펴봅니다.
DCOCO: 병렬 드래프트의 토큰 의존성을 보정하는 추측 디코딩
병렬 드래프터가 이미 만든 후보를 맥락에 맞게 다시 선택합니다. 수용 길이와 실제 처리량을 구분하고, 동시 요청 환경에서 보정 비용이 속도에 미치는 영향을 살펴봅니다.
루프 언어 모델의 고정점: KV 공유·상태 재사용·증류로 비용 줄이기
반복 계산이 고정점에 가까워지는 성질로 KV 공유와 상태 재사용을 설명합니다. 최대 1.6B 모델에서 검증한 메모리·학습·프리필 비용 절감과 정확도 절충을 정리합니다.
SparseDecoding: 생성 중 활성화로 프루닝 품질을 높이는 방법
모델이 직접 생성한 토큰으로 프루닝을 보정하고 디코딩 전용 커널을 결합합니다. A100 실험에서 최대 1.48배 가속을 얻은 조건과 품질 손실을 살펴봅니다.
MC-Sparse: 확산 모델의 희소 어텐션이 느려지는 세 가지 이유
MC-Sparse가 DiT의 희소 어텐션에서 품질과 속도 손실을 분리하는 방법을 살펴봅니다. 토큰 선택뿐 아니라 커널 실행 비용을 함께 줄여야 하는 이유를 정리합니다.
TokenRouter: Efficient Serving System for Token-Level LLM Routing
TokenRouter: 토큰 단위 LLM 라우팅을 위한 효율적 서빙 시스템 TL;DR — LLM을 세션·쿼리 단위가 아니라 토큰 단위로 라우팅하면 비용-품질 파레토 프론티어를 크게 끌어올릴 수 있지만, 단일 LLM 가정에 묶인 기존 서빙 스택(vLLM, SGLang)에서는 스텝 탈동기화·배치 수용 지연·…
Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
Mechanics of Long-Context Hybrid Models: 하이브리드 어텐션에서 하이브리드 포지션으로 TL;DR — 요즘 오픈소스 LLM은 "full attention만 쓰는" 모델에서 "full attention + Sliding-Window Attention(SWA) 또는 Linear…
TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
TRACE: 롤아웃을 따라가는 FP4 양자화 인식 학습 — MoE LLM의 강화학습을 BF16 성능 그대로, 최대 5.4배 빠르게 한 줄 요약 (TL;DR) MoE LLM의 강화학습(RL)에서 롤아웃 생성을 FP4(W4A4 + FP4 KV) 로 양자화하면 생성 속도가 최대 5.4배 빨라지지만, 학습 경로…
SlimKV: Joint Token-Feature KV Cache Compression with Reconstruction-Free Beacon Attention
SlimKV: 토큰과 피처를 함께 압축하고, 복원 없는 잠재 공간 어텐션으로 KV 캐시를 32배까지 줄이다 TL;DR SlimKV는 긴 문맥(long-context) LLM 추론의 병목인 KV 캐시를 토큰 축(token-wise)과 피처 축(feature-wise)에서 동시에 압축하는 질문-독립적…
Tailoring the Quantization Space for 1-Bit KV Cache Compression
TaSQ: 1비트 KV 캐시를 위한 양자화 공간 '맞춤 설계' TL;DR — TaSQ(Tailored Space Vector Quantization)는 벡터 양자화(VQ)가 적용될 타깃 공간 자체를 재설계해, KV 캐시를 채널당 약 1.25비트로 압축하면서도 BF16에 근접한 품질을 유지한다. 핵심은 쿼…
Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
서로 다른 LLM 사이에서 KV 캐시를 그대로 건네받는 법: HeteroFold 한 줄 요약 (TL;DR) : 서로 다른 토크나이저와 구조를 가진 모델 사이에서도 수신자가 다시 프리필하지 않고 KV 캐시를 재사용하는 방법 HeteroFold가 6개 방향 모두에서 기존 캐시 전송을 앞지르고 32K 문맥에서…
The KV Cache Is the New Memory Wall
KV 캐시가 새로운 메모리 월(Memory Wall)이다: 장문맥 LLM 추론의 세 영역과 다섯 도메인 TL;DR — 장문맥 LLM의 디코드(decode) 추론은 산술 연산이 아니라 메모리 대역폭에 묶이며, 문맥 길이가 계산 가능한 특정 "크로스오버(crossover)" 지점을 넘어서면 병목이 모델 가중…
WavePP: High-Throughput Pipeline Parallel LLM Prefill under Prefix Reuse
WavePP — 프리픽스 재사용을 태우는 파이프라인 병렬 프리필 런타임 TL;DR TensorRT-LLM 위에 구축한 WavePP 는 요청 admission(재사용 합의·캐시 보호·용량 예약)을 파이프라인 실행과 비동기로 겹쳐 처리 하고, wave 크기를 동적으로 조절해 파이프라인을 꽉 채운다. 동일 커…
Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
위상 감수성(Phase Sensitivity): 청크 단위 KV 캐시 압축이 만드는 '주기적 약점' TL;DR — 청크 단위 KV 캐시 압축을 쓰는 모델(DeepSeek-V4 계열 등)에서, 같은 정보라도 압축 창 경계를 기준으로 한 '위상(phase)'에 따라 검색 성능이 최대 40pp까지 주기적으로…
MassAlloc Attention: Let Attention Allocate Its Own Compute
MassAlloc Attention(MALA): 어텐션이 스스로 연산을 배분하게 하다 TL;DR — 풀 소프트맥스 어텐션(FullAttn)은 매 causal 타일마다 QK 점수 생성 이후 의 연산(post-score)을 전부 수행하지만, MALA는 어텐션이 스스로 만든 정규화 기여도(normalized…
WorldAttention: An Efficient Attention Architecture for Interactive Video World Models
WorldAttention: 슬라이딩 윈도우를 버린 인터랙티브 비디오 월드 모델의 시스템 공동 설계 TL;DR — 텍스트로 제어되는 인터랙티브 비디오 월드 모델은 "전체 히스토리를 기억해야 한다"는 요구와 "KV 캐시가 선형으로 불어 GPU 메모리가 터진다"는 현실 사이에 갇혀 있다. 알리바바 DAMO…
Block Sparse Attention with Log-Linear Complexity
PISA: 피라미드 Top-$K$ 선택으로 블록 스파스 어텐션의 비용을 $O(N\log N)$으로 낮추다 TL;DR — 블록 스파스 어텐션에서 '어텐션 계산'은 선형이지만 '블록 선택'이 여전히 이차 비용이라는 문제를, 키(key)를 평균 풀링으로 피라미드 계층화하고 각 레벨에서…
GDN Tree-Scan: Served Tree Verification for Recurrent-Hybrid Language Models
LumoTree: Path-Parallel Speculative Verification for Hybrid Language Models TL;DR — Gated DeltaNet과 full-attention을 섞은 하이브리드 모델에서 트리 스페큘레이티브 디코딩을 하려면, recurrent 상태·컨볼루션 히…
SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture
SPECTRA: 추론 단계가 바뀔 때마다 하드웨어도 옷을 갈아입는 재구성 가능 LLM 가속기 한 줄 요약 (TL;DR) 스펙큘레이티브 디코딩은 프리필(연산 바운드 GEMM)·디코드(메모리 바운드 GEMV)·그 사이의 병렬 검증을 오가며 산술 강도 가 토큰마다 출렁인다. 고정 데이터패스로는 이 세 체제를…
Adapting Tree-Structured Speculative Decoding to DeepSeek-V4 for Efficient Inference
압축된 기억 위에서 가지를 뻗기: DeepSeek-V4에 트리 추론을 얹은 이야기 TL;DR DeepSeek-V4-Flash에 트리 구조 추론적 디코딩을 올리면 같은 검증 예산에서 더 긴 채택 길이와 최대 약 18.5% 의 디코드 처리량 향상을 얻는다 (근거: §5, Fig. 4) . 핵심은 트리 자체가…
Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
Flash-dLLM: I/O를 먼저 본 Diffusion LLM 가속, 퓨즈드 캐시와 셀프 검증으로 210.6 tokens/s 를 열다 한 줄 요약 (TL;DR) Diffusion LLM(dLLM)은 병렬 디노이징이 가능하지만 KV 캐시 재사용과 병렬 디코딩을 함께 쓰면 GPU 메모리 I/O가 병목이 된…
H-Spec: Parallel Speculative Decoding Without a Drafter-Side KV Cache
Drafter-Side KV Cache 없이 병렬 추론하기: H-Spec의 하이브리드 추측 디코딩 TL;DR 은 블록 확산 드래프터가 매 토큰마다 타깃 은닉 상태를 투영해 별도 KV 캐시를 유지해야 한다는 점이 동시 서빙의 병목임을 보이고, 타깃 KV 제자리 재사용과 마지막 토큰 은닉 상태 $O(1)$…
Analytical Power-Aware Provisioning for Prefill-Decode Disaggregated AI Inference
PD 분리 LLM 추론에서 prefill·decode 인스턴스 수와 KV-cache 예약을 함께 모델링해, 요구 용량을 가장 낮은 전력으로 만족하는 배치를 찾는 해석적 프로비저닝 방법을 소개한다.
VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention
VC-Attention은 비디오 Diffusion Transformer의 저비트 어텐션에서 값 양자화 오차와 softmax 병목을 함께 줄여 B200에서 어텐션을 최대 1.59배 가속한 학습-프리 커널이다.
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
DeepSeek-V4.1-Flash: KV 캐시를 1/4로 줄이면서 성능은 더 끌어올린 멀티모달 MoE 한 줄 요약 (TL;DR). DeepSeek-AI가 공개한 DeepSeek-V4.1-Flash 는 552B 백본 파라미터의 멀티모달 MoE로, 최대 1M 토큰 컨텍스트를 지원한다. Causal…
Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches
Fathom: 쿼리마다 깊이를 바꾸는 스캔으로 1M 토큰 디코딩을 1.67배 빠르게 하다 한 줄 요약 (TL;DR) 에이전트 세션이 1M 토큰까지 길어지고 수십 세션이 동시에 상주하면 KV 캐시와 이를 랭킹하는 인덱스가 호스트 메모리에 살게 되고, 매 디코드 스텝의 top-k 스캔이 PCIe 바이트에 의…
The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction
SSD에 산 MoE를 깨우다: 24 GB 데스크톱에서 35B MoE를 20 tok/s로 서빙하는 Edge0 한 줄 요약 (TL;DR) 35B급 MoE는 4-bit로도 19.5 GB 를 차지해 24 GB 머신에 상주하지 못한다 (근거: §1). Edge0는 엑스퍼트 가중치를 SSD에 두고 mmap 스트리밍…
How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus
"무손실" 스페큘레이티브 디코딩은 정말 무손실일까? — Orthrus 재현으로 드러난 수치 정밀도의 함정 TL;DR — Orthrus는 frozen AR 백본에 diffusion 뷰를 얹어 여러 토큰을 병렬로 생성하며 "무손실(lossless)" 스페큘레이티브 디코딩을 주장한다. 저자들이 이를 독립 재현…
ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search
ZGCM-1: 7B 밀집 모델이 235B 프런티어와 겨루는 법 — 완전 개방형·초고효율 파운데이션 모델 설계 보고서 TL;DR — ZGCM-1은 7.39B 밀집(dense) 모델 하나로 AIME 2026 75.0%, WebWalkerQA 63.1%, Binary Function Search 62.0%를…
SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
SAS: 증류 없이 문맥 랭킹을 직접 학습하는 단순한 어텐션 스파시피케이션 TL;DR — 사후 학습(post-training) 어텐션 스파시피케이션에서, 선택기(selector)가 만든 연속 점수를 어텐션 로짓에 로그 게이트(log gate) 로 주입한다. 이렇게 하면 이산 Top-K 선택이 막고 있던…
CoVeR: Coverage-Based Token Pruning for Multi-View 3D Reasoning in VLMs
CoVeR: 지오메트리만으로 멀티뷰 3D 추론의 비주얼 토큰을 92%까지 덜어내는 커버리지 기반 프루닝 한 줄 요약 (TL;DR) 3D 장면을 여러 시점 이미지로 렌더링해 2D VLM에 넣으면 토큰이 시점 수에 비례해 폭증한다. CoVeR는 학습 없이 오직 토큰의 3D 좌표만 사용해 장면 전체를 균등하게…
SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions
SQS: 가지치기와 양자화를 하나의 베이지안 학습으로 — 스파이크-앤-슬랩과 GMM의 만남 TL;DR — 프루닝(pruning)과 저비트 양자화(quantization)를 따로 하면 남는 잉여가 생긴다. SQS는 스파이크-앤-슬랩 사전분포와 가우시안 혼합 모델(GMM)을 하나의 변분…
Kalman Delta Networks: Uncertainty-aware Associative Memory
칼만 필터로 다시 쓴 선형 어텐션: Kalman Delta Networks 한 줄 요약 (TL;DR) 선형 어텐션(linear attention)의 고정 크기 recurrent memory 갱신을 선형-가우시안 상태공간 모델 로 재해석하고, 최적 추정기인 칼만 필터(Kalman filter) 의 공분산…
X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
X-AuT: 행동 프로브와 크로스스케일 증류로 음성 LLM의 오디오 인코더를 깎아내는 방법 한 줄 요약 (TL;DR) 음성 LLM의 오디오 인코더(오디오 Transformer)를 18→16→14 레이어로 점진적으로 프루닝 하면서, 짧은 행동 프로브(behavioral probe) 로 회복 가능한 레이어…
Deadline-Aware Adaptive Prefill Chunking for Efficient Large Language Model Serving
데드라인을 채우는 프리필 청크: SLOWeave — LLM 서빙의 적응형 청킹 스케줄러 TL;DR — 고정된 프리필 청크 크기 대신, 매 반복(iteration)마다 "가장 이른 디코드 데드라인 전에 끝나는 가장 큰 프리필 청크"를 이진 탐색으로 선택하는 온라인 스케줄러 SLOWeave를 제안한다. 25…
Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs
비디오 LLM은 왜 아직도 비싼가? — 추론 효율화 메커니즘 4단계 총정리 TL;DR — 이 논문은 2022년 말부터 2026년 8월까지 발표된 VideoLLM 추론 효율화 연구 125편을 엔코더–커넥터–LLM 파이프라인의 4단계로 분류하고, "같은 호스트 모델 · 같은 입력 프로토콜"에서만 통제 비교를…
![[논문리뷰] Llama-Nemotron: Efficient Reasoning Models](https://cdn-thumbnails.huggingface.co/social-thumbnails/collections/nvidia/llama-nemotron-67d92346030a2691293f200b.png)
[논문리뷰] Llama-Nemotron: Efficient Reasoning Models
Hydragen: 공유 프리픽스가 있는 대규모 배치를 32 × 빠르게 디코딩하는 비밀 병기 한 줄 요약 (TL;DR) Softmax 분모 재스케일링으로 프리픽스-서픽스를 분해해 Code-Llama-13 B 기준 vLLM보다 최대 32배 빠르게, 동일 출력을 보장하며 장문·대규모 배치 디코딩을 가속한다.…
Mamba Drafters for Speculative Decoding
📝 Mamba Drafters: 선형 SSM으로 외부 Speculative Decoding SOTA 다시 쓰기 한 줄 요약 (TL;DR) Transformer 대신 Mamba SSM을 외부 드래프터로 쓰고, 트리 초안 + UCB 탐색을 결합해 재학습 없이도 Self-spec(EAGLE) 수준 속도·품질을…
Towards MoE Deployment: Mitigating Inefficiencies in Mixture-of-Expert (MoE) Inference
MoE 추론의 패딩·마스크 비용을 줄이는 dynamic gating과 expert buffering, 부하 균형을 살펴봅니다. 처리량과 메모리 감소의 측정 조건을 구분합니다.
EFFICIENT LLM INFERENCE USING DYNAMIC INPUT PRUNING AND CACHE-AWARE MASKING
SwiGLU MLP의 입력을 동적으로 고르고, DRAM에 있는 가중치를 재사용하는 DIP를 설명합니다. 시뮬레이션 결과와 행렬곱 계산 예시의 조건을 구분합니다.