게시글

기술과 일상에 대한 글 목록입니다.

607페이지
90 / 102

ShadowKV KV Cache in Shadows for High-Throughput Long-Context LLM Inference

논문의 강점 및 독창적인 지점 ShadowKV는 긴 문맥을 가진 대형 언어 모델(LLM)에서 고속 추론을 가능하게 하는 시스템으로, 다음과 같은 강점과 독창적인 요소를 갖추고 있습니다: 메모리 사용 최적화: ShadowKV는 로우랭크(low-rank) 접근 방식을 활용하여 GPU 메모리 사용량을 크게 줄…

18분
Machine Learning Natural Language Processing