Serving Efficiency

[논문리뷰] Marconi: Prefix Caching for the Era of Hybrid LLMs

Marconi: 하이브리드 LLM 시대의 프리픽스 캐싱을 다시 설계하다 한 줄 요약 (TL;DR) Marconi는 하이브리드 LLM(Attention+SSM) 서빙에서 재사용 가능성이 높은 접두만 선별 입장(admission) 하고, FLOP/바이트 효율을 반영한 퇴장(eviction) 으로 캐시를 관리…