[논문리뷰]Towards Efficient and Practical GPU Multitasking in the Era of LLM
논문 링크 “GPU에 OS를 입히자”: LLM 시대를 위한 GPU 멀티태스킹 OS 레이어 의 제안한 줄 요약 (TL;DR)LLM 서빙에서 GPU는 종종 ≤10%대 활용 에 머무르고(현장 관찰), 부하는 수분 단위 3× 로 요동한다. 저자는 커널-그레인 …
41분
Kubernetes DRA
NCCL Virtualization
LLM Inference
System Design
Resource Isolation