https://jaehun.me/tags/multimodal/Recent content in Multimodal on Jaehun's BlogHugoko-krSat, 19 Sep 2026 00:28:38 +0900https://jaehun.me/posts/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0-sglang-efficient-execution-of-structured-language-model-programs/Fri, 03 Oct 2025 00:00:00 +0900https://jaehun.me/posts/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0-sglang-efficient-execution-of-structured-language-model-programs/<p><a href="https://arxiv.org/abs/2312.07104v2"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="sglang--radixattention-lm-프로그램-시대의-실행-최적화-어떻게-64-빨라졌나">SGLang &amp; RadixAttention: “LM 프로그램” 시대의 실행 최적화, 어떻게 6.4× 빨라졌나<a href="#sglang--radixattention-lm-%ed%94%84%eb%a1%9c%ea%b7%b8%eb%9e%a8-%ec%8b%9c%eb%8c%80%ec%9d%98-%ec%8b%a4%ed%96%89-%ec%b5%9c%ec%a0%81%ed%99%94-%ec%96%b4%eb%96%bb%ea%b2%8c-64-%eb%b9%a8%eb%9d%bc%ec%a1%8c%eb%82%98" class="heading-anchor" aria-label="이 섹션에 대한 링크"></a></h2><h2 id="tldr">TL;DR<a href="#tldr" class="heading-anchor" aria-label="이 섹션에 대한 링크"></a></h2><p>언어–런타임 <strong>공동 설계(co-design)</strong> 위에 <strong>RadixAttention(라딕스 트리 기반 KV 캐시+스케줄링)</strong>, <strong>Compressed FSM(다중 토큰 제약 디코딩)</strong>, <strong>API speculative execution</strong>을 결합해, 다양한 LM 프로그램에서 <strong>처리량 최대 6.4×↑</strong>, <strong>지연 최대 3.7×↓</strong>, <strong>TTFT 평균 1.7×↓</strong>, <strong>JSON/Regex 디코딩 1.6×↑</strong>, <strong>멀티모달 ~6×↑</strong>를 달성한다. 캐시 재사용 기회가 없을 때도 <strong>오버헤드 &lt;0.3%</strong>.</p>