VLLM

5페이지

Who Pays for the KV Cache? Attributing Shared AI Inference Spend Across Kubernetes and LLM Provider Bills

KV 캐시 비용은 누가 내는가? — 쿠버네티스·게이트웨이·프로바이더 청구서를 하나의 장부로 TL;DR — 같은 AI 기능 한 건에 드는 비용은 쿠버네티스 할당, 게이트웨이 로그, 프로바이더의 토큰 단위 청구서라는 서로 연결되지 않은 세 장부에 흩어져 있다. 저자는 이 세 장부를 하나의 Decimal-정확…

2026년 9월 28일

15분

KV Cache Prefix Caching

H-Spec: Parallel Speculative Decoding Without a Drafter-Side KV Cache

Drafter-Side KV Cache 없이 병렬 추론하기: H-Spec의 하이브리드 추측 디코딩 TL;DR 은 블록 확산 드래프터가 매 토큰마다 타깃 은닉 상태를 투영해 별도 KV 캐시를 유지해야 한다는 점이 동시 서빙의 병목임을 보이고, 타깃 KV 제자리 재사용과 마지막 토큰 은닉 상태 $O(1)$…

2026년 9월 23일

14분

Speculative Decoding KV Cache

Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning

점수는 낭비였다: KV 캐시 eviction에서 '무작위 추출'이 최강자와 동률이 되는 역설 — Random Attention 심층 리뷰 TL;DR — 추론 특화 KV 캐시 eviction 연구는 전부 "어떤 토큰이 나중에 중요한가"를 점수화해서 top-K 를 고르는 문제였다. Random…

2026년 9월 6일

19분

KV Cache vLLM

[논문리뷰] Marconi: Prefix Caching for the Era of Hybrid LLMs

Marconi: 하이브리드 LLM 시대의 프리픽스 캐싱을 다시 설계하다 한 줄 요약 (TL;DR) Marconi는 하이브리드 LLM(Attention+SSM) 서빙에서 재사용 가능성이 높은 접두만 선별 입장(admission) 하고, FLOP/바이트 효율을 반영한 퇴장(eviction) 으로 캐시를 관리…

2025년 10월 8일

41분

Prefix Caching FLOP-aware Scheduling

[논문리뷰] Llama-Nemotron: Efficient Reasoning Models

Hydragen: 공유 프리픽스가 있는 대규모 배치를 32 × 빠르게 디코딩하는 비밀 병기 한 줄 요약 (TL;DR) Softmax 분모 재스케일링으로 프리픽스-서픽스를 분해해 Code-Llama-13 B 기준 vLLM보다 최대 32배 빠르게, 동일 출력을 보장하며 장문·대규모 배치 디코딩을 가속한다.…

2025년 7월 29일

29분

Prefix Caching Efficient Inference