게시글

기술과 일상에 대한 글 목록입니다.

607페이지
95 / 102

Helix Distributed Serving of Large Language Models via Max-Flow on Heterogeneous GPUs

논문에서는 Helix라는 시스템을 소개하며, 이 시스템은 이기종(heterogeneous) GPU 클러스터 상에서 대규모 언어 모델(LLM)을 분산적으로 제공하기 위해 설계되었습니다. Helix의 주요 강점과 독창성, 핵심 알고리즘 예시, 한계점을 다음과 같이 정리해드립니다. 강점과 독창적인 지점 이기종…

4분
Distributed Computing Natural Language Processing