Dynamic Memory Compression

Dynamic Memory Compression: Retrofitting LLMs for Accelerated Inference

논문 요약 및 강점, 독창성, 핵심 알고리즘 설명 논문 요약 논문은 대형 언어 모델(LLM)의 비효율적인 메모리 사용 문제를 해결하기 위해 Dynamic Memory Compression (DMC) 방법을 제안합니다. 이 방법은 모델의 키-값(KV) 캐시를 실시간으로 동적으로 압축하여, 더 적은 메모리로…