https://jaehun.me/categories/gpu-virtualization-and-multi-tenancy/Recent content in GPU Virtualization and Multi-Tenancy on Jaehun's BlogHugoko-krMon, 07 Sep 2026 14:31:22 +0000https://jaehun.me/posts/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0towards-efficient-and-practical-gpu-multitasking-in-the-era-of-llm/Thu, 09 Oct 2025 00:00:00 +0900https://jaehun.me/posts/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0towards-efficient-and-practical-gpu-multitasking-in-the-era-of-llm/<p><a href="https://arxiv.org/abs/2508.08448v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="gpu에-os를-입히자-llm-시대를-위한-gpu-멀티태스킹-os-레이어-의-제안">“GPU에 OS를 입히자”: LLM 시대를 위한 <strong>GPU 멀티태스킹 OS 레이어</strong> 의 제안<a href="#gpu%ec%97%90-os%eb%a5%bc-%ec%9e%85%ed%9e%88%ec%9e%90-llm-%ec%8b%9c%eb%8c%80%eb%a5%bc-%ec%9c%84%ed%95%9c-gpu-%eb%a9%80%ed%8b%b0%ed%83%9c%ec%8a%a4%ed%82%b9-os-%eb%a0%88%ec%9d%b4%ec%96%b4-%ec%9d%98-%ec%a0%9c%ec%95%88" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><h2 id="한-줄-요약-tldr">한 줄 요약 (TL;DR)<a href="#%ed%95%9c-%ec%a4%84-%ec%9a%94%ec%95%bd-tldr" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p>LLM 서빙에서 GPU는 종종 <strong>≤10%대 활용</strong> 에 머무르고(현장 관찰), 부하는 <strong>수분 단위 3×</strong> 로 요동한다. 저자는 <strong>커널-그레인 시간/공간 공유 + CUDA 가상메모리(2 MB) 기반 메모리 멀티태스킹 + 보장(Guaranteed)/선점(Preemptible) 자원 조정</strong> 을 묶은 <strong>“GPU 멀티태스킹 OS 레이어”</strong> 를 제안하며, 이것만이 <strong>활용도·성능보장·격리·대규모 배포</strong> 를 동시에 달성하는 현실 해법이라고 주장한다.</p>