https://jaehun.me/tags/prefill/딥러닝 컴파일러 엔지니어 류재훈의 기술 블로그. LLM 추론 최적화, KV 캐시, 컴파일러, C++와 AI 논문·오픈소스 코드 분석을 정리합니다.ko-krhttps://jaehun.me/posts/paper-2611-09709v1/https://jaehun.me/posts/paper-2611-09709v1/Thu, 12 Nov 2026 00:00:00 +0900<p><a href="https://arxiv.org/abs/2611.09709v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="도입-답이-나오기-전의-대기-시간">도입: 답이 나오기 전의 대기 시간<a href="#%eb%8f%84%ec%9e%85-%eb%8b%b5%ec%9d%b4-%eb%82%98%ec%98%a4%ea%b8%b0-%ec%a0%84%ec%9d%98-%eb%8c%80%ea%b8%b0-%ec%8b%9c%ea%b0%84" class="heading-anchor" aria-label="이 섹션에 대한 링크"></a></h2><p>긴 프롬프트를 넣으면 첫 토큰이 나올 때까지 모델이 그 문서를 끝까지 통과시켜야 하고, 그만큼 사용자가 아무것도 보지 못한 채 기다린다. RidgeFill은 이 대기 시간을 줄이려고, 일부 층의 계산을 건너뛰고 그 층이 만들어야 할 캐시를 근사해 미리 채운다. 학습은 필요 없고, 꼬리와 일부 선택된 행, 그리고 모든 디코딩 단계는 정확히 계산한다.</p>