[논문리뷰] DroidSpeak: KV Cache Sharing for Cross-LLM Communication and Multi-LLM Serving

Wed, 08 Oct 2025 00:00:00 +0900

논문 링크

DroidSpeak: 교차-LLM Prefix-KV 재사용으로 프리필 지연을 1.7–3.1× 줄이는 방법

TL;DR (한 줄 요약)

동일 아키텍처이되 가중치가 다른 LLM들 사이에서, 보내는 모델의 prefix KV를 받는 모델이 연속층 부분 재계산 + E-first 파이프라이닝으로 재사용하면 TTFT(프리필) 1.7–3.1×↓(×, 무차원), 온라인 처리량 최대 4×↑(×, 무차원), 품질(F1/ROUGE/CodeSim) 유지가 가능하다는 것을 보였다(운영 전제: 오프라인 O(L²) 프로파일링). (근거: §4.2, §4.3 Fig.13, §5.2 Fig.14, §5.3 Fig.15)

LLM Serving and Systems on Jaehun's Blog

[논문리뷰] DroidSpeak: KV Cache Sharing for Cross-LLM Communication and Multi-LLM Serving

DroidSpeak: 교차-LLM Prefix-KV 재사용으로 프리필 지연을 1.7–3.1× 줄이는 방법

TL;DR (한 줄 요약)