WavePP: High-Throughput Pipeline Parallel LLM Prefill under Prefix Reuse
논문 링크 WavePP — 프리픽스 재사용을 태우는 파이프라인 병렬 프리필 런타임TL;DRTensorRT-LLM 위에 구축한 WavePP 는 요청 admission(재사용 합의·캐시 보호·용량 예약)을 파이프라인 실행과 비동기로 겹쳐 처리 하고, …
14분
KV Cache
Prefix Caching
Efficient Inference
LLM Inference
Pipeline Parallelism
Long Context