https://jaehun.me/categories/serving-systems/Recent content in Serving-Systems on Jaehun's BlogHugoko-krFri, 11 Sep 2026 09:31:03 +0900https://jaehun.me/posts/deadline-aware-adaptive-prefill-chunking-for-efficient-large-language-model-serving/Fri, 11 Sep 2026 00:00:00 +0900https://jaehun.me/posts/deadline-aware-adaptive-prefill-chunking-for-efficient-large-language-model-serving/<p><a href="https://arxiv.org/abs/2609.07883v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="데드라인을-채우는-프리필-청크-sloweave--llm-서빙의-적응형-청킹-스케줄러">데드라인을 채우는 프리필 청크: SLOWeave — LLM 서빙의 적응형 청킹 스케줄러<a href="#%eb%8d%b0%eb%93%9c%eb%9d%bc%ec%9d%b8%ec%9d%84-%ec%b1%84%ec%9a%b0%eb%8a%94-%ed%94%84%eb%a6%ac%ed%95%84-%ec%b2%ad%ed%81%ac-sloweave--llm-%ec%84%9c%eb%b9%99%ec%9d%98-%ec%a0%81%ec%9d%91%ed%98%95-%ec%b2%ad%ed%82%b9-%ec%8a%a4%ec%bc%80%ec%a4%84%eb%9f%ac" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2> <blockquote class="border-primary bg-muted/30 hover:bg-muted/40 my-6 rounded-r-lg border-l-4 py-4 pr-4 pl-6 italic transition-all duration-200 ease-out hover:translate-x-1" > <div class="prose prose-sm max-w-none"> <p><strong>TL;DR</strong> — 고정된 프리필 청크 크기 대신, 매 반복(iteration)마다 &ldquo;가장 이른 디코드 데드라인 전에 끝나는 가장 큰 프리필 청크&quot;를 이진 탐색으로 선택하는 온라인 스케줄러 <strong>SLOWeave</strong>를 제안한다. 25 ms TPOT 목표에서 혼합(mixed) 워크로드 goodput을 최강 고정 청크 대비 <strong>39%</strong>, 장문(long) 워크로드에서 <strong>38%</strong> 개선했고, 엄격한 10 ms 목표에서는 각각 <strong>3.3배</strong>, <strong>2.4배</strong>까지 끌어올린다 (근거: Abstract).</p>