https://jaehun.me/tags/llm-agents/Recent content in LLM Agents on Jaehun's BlogHugoko-krFri, 23 Oct 2026 08:19:00 +0900https://jaehun.me/posts/paper-2610-28577v1/Fri, 23 Oct 2026 00:00:00 +0900https://jaehun.me/posts/paper-2610-28577v1/<p><a href="https://arxiv.org/abs/2610.28577v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="긴-에이전트-궤적이-만드는-비용과-정확도-딜레마">긴 에이전트 궤적이 만드는 비용과 정확도 딜레마<a href="#%ea%b8%b4-%ec%97%90%ec%9d%b4%ec%a0%84%ed%8a%b8-%ea%b6%a4%ec%a0%81%ec%9d%b4-%eb%a7%8c%eb%93%9c%eb%8a%94-%eb%b9%84%ec%9a%a9%ea%b3%bc-%ec%a0%95%ed%99%95%eb%8f%84-%eb%94%9c%eb%a0%88%eb%a7%88" class="heading-anchor" aria-label="이 섹션에 대한 링크"></a></h2><p>LLM 에이전트는 추론과 도구 호출을 수백 라운드 반복하며 긴 궤적을 쌓는다. 추론을 빠르게 만들려면 이미 계산한 key-value(KV) 캐시를 GPU에 두고 다음 토큰마다 다시 읽어야 하는데, 궤적이 길어질수록 저장·읽기 비용이 커진다. 논문은 KV 캐시 읽기가 전체 API 비용의 82.4%를 차지한다고 측정했고(§1, Figure 13), attention이 다루는 KV 개수나 위치 범위가 모델이 감당할 수준을 넘으면 정확도까지 떨어진다고 지적한다(§1).</p>