FASTDECODE: High-Throughput GPU-Efficient LLM Serving using Heterogeneous Pipelines
논문의 강점과 독창적인 지점 이 논문은 대규모 언어 모델(LLM) 서빙을 위해 FASTDECODE라는 새로운 시스템을 제안합니다. 주요 강점과 독창성은 다음과 같습니다: 메모리-계산 분리 아키텍처: LLM의 중요한 구성요소인 KV-Cache를 GPU가 아닌 CPU에서 처리하도록 설계했습니다. CPU는 메…