Model Serving

[논문리뷰] Marconi: Prefix Caching for the Era of Hybrid LLMs

논문 링크 같은 논문을 2025-03-12 에도 한 번 더 정리해 두었다. Marconi: 하이브리드 LLM 시대의 프리픽스 캐싱을 다시 설계하다한 줄 요약 (TL;DR)Marconi는 하이브리드 LLM(Attention+SSM) 서빙에서 재사용 가능 …