Distributed Inference

[논문리뷰] SGLang: Efficient Execution of Structured Language Model Programs

SGLang & RadixAttention: “LM 프로그램” 시대의 실행 최적화, 어떻게 6.4× 빨라졌나 TL;DR 언어–런타임 공동 설계(co-design) 위에 RadixAttention(라딕스 트리 기반 KV 캐시+스케줄링), Compressed FSM(다중 토큰 제약 디코딩), API…