Mini-SGLang: LLM 서빙 프레임워크의 스케줄러 읽기

Mon, 01 Jan 0001 00:00:00 +0000

sgl-project/mini-sglang 을 커밋 9a91cfa 에 고정해 놓고 여덟 편에 걸쳐 읽습니다. 인용한 코드는 모두 그 커밋의 permalink 로 이어집니다.

tiny-vLLM: CUDA로 직접 쓴 LLM 추론 엔진 읽기

Mon, 01 Jan 0001 00:00:00 +0000

jmaczan/tiny-vllm 은 CUDA 로 직접 쓴 1,500 줄짜리 추론 엔진입니다. 커밋 하나에 고정해 놓고 일곱 편에 걸쳐 읽습니다.

가중치를 올리고 GPU 버퍼를 잡는 일부터 시작해, 프롬프트 전체를 한 번에 흘리는 prefill 경로, cuBLAS 에 행렬을 뒤집어 넘기는 이유, 토큰 하나를 만드는 decode 경로와 전용 커널, KV 캐시를 16토큰 블록으로 쪼개 block table 로 읽는 방법, 슬롯과 큐로 여러 요청을 겹치는 continuous batching 까지 따라갑니다.

Series on Jaehun's Blog

Mini-SGLang: LLM 서빙 프레임워크의 스케줄러 읽기

tiny-vLLM: CUDA로 직접 쓴 LLM 추론 엔진 읽기