TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving
TAO: LLM 기반 에이전트 서빙을 위한 도구 인지 통합 스케줄링 도입 에이전트는 모델 추론과 외부 도구 실행을 번갈아 수행한다. 도구가 도는 동안 그 세션의 GPU 수요는 중단 가능해지며, 이 빈 구간을 어떻게 쓰고 세션이 돌아왔을 때 어느 노드에 붙이느냐가 응답 시간을 좌우한다. 이 논문은 두 문제…
Prefix Caching
7페이지
Cache Engineering for Agents
긴 에이전트 궤적이 만드는 비용과 정확도 딜레마 LLM 에이전트는 추론과 도구 호출을 수백 라운드 반복하며 긴 궤적을 쌓는다. 추론을 빠르게 만들려면 이미 계산한 key-value(KV) 캐시를 GPU에 두고 다음 토큰마다 다시 읽어야 하는데, 궤적이 길어질수록 저장·읽기 비용이 커진다. 논문은 KV 캐…
WavePP: High-Throughput Pipeline Parallel LLM Prefill under Prefix Reuse
WavePP — 프리픽스 재사용을 태우는 파이프라인 병렬 프리필 런타임 TL;DR TensorRT-LLM 위에 구축한 WavePP 는 요청 admission(재사용 합의·캐시 보호·용량 예약)을 파이프라인 실행과 비동기로 겹쳐 처리 하고, wave 크기를 동적으로 조절해 파이프라인을 꽉 채운다. 동일 커…
Who Pays for the KV Cache? Attributing Shared AI Inference Spend Across Kubernetes and LLM Provider Bills
KV 캐시 비용은 누가 내는가? — 쿠버네티스·게이트웨이·프로바이더 청구서를 하나의 장부로 TL;DR — 같은 AI 기능 한 건에 드는 비용은 쿠버네티스 할당, 게이트웨이 로그, 프로바이더의 토큰 단위 청구서라는 서로 연결되지 않은 세 장부에 흩어져 있다. 저자는 이 세 장부를 하나의 Decimal-정확…
Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving
같은 요청, 다른 답: 프리픽스 캐시가 서빙을 비재현적으로 만들고, 양자화가 이를 증폭시킨다 TL;DR — 프리픽스 캐시는 "투명한 최적화"로 여겨지지만 투명하지 않다. 캐시를 끄면 동일 워크로드의 반복 실행이 10개 설정 × 80에피소드 = 800개 전부 비트 단위로 동일 하게 재현되는 반면 (근거:…
![[논문리뷰] Marconi: Prefix Caching for the Era of Hybrid LLMs](https://pbs.twimg.com/media/GdyLXO9W4AADox0.jpg)
[논문리뷰] Marconi: Prefix Caching for the Era of Hybrid LLMs
Marconi: 하이브리드 LLM 시대의 프리픽스 캐싱을 다시 설계하다 한 줄 요약 (TL;DR) Marconi는 하이브리드 LLM(Attention+SSM) 서빙에서 재사용 가능성이 높은 접두만 선별 입장(admission) 하고, FLOP/바이트 효율을 반영한 퇴장(eviction) 으로 캐시를 관리…
![[논문리뷰] Llama-Nemotron: Efficient Reasoning Models](https://cdn-thumbnails.huggingface.co/social-thumbnails/collections/nvidia/llama-nemotron-67d92346030a2691293f200b.png)
[논문리뷰] Llama-Nemotron: Efficient Reasoning Models
Hydragen: 공유 프리픽스가 있는 대규모 배치를 32 × 빠르게 디코딩하는 비밀 병기 한 줄 요약 (TL;DR) Softmax 분모 재스케일링으로 프리픽스-서픽스를 분해해 Code-Llama-13 B 기준 vLLM보다 최대 32배 빠르게, 동일 출력을 보장하며 장문·대규모 배치 디코딩을 가속한다.…