Networking on Jaehun's Bloghttps://jaehun.me/tags/networking/Recent content in Networking on Jaehun's BlogHugoko-krSat, 19 Sep 2026 01:44:51 +0900CacheGen: KV Cache Compression and Streaming for Fast Large Language Model Servinghttps://jaehun.me/posts/cachegen-kv-cache-compression-and-streaming-for-fast-large-language-model-serving/Tue, 10 Dec 2024 00:00:00 +0900https://jaehun.me/posts/cachegen-kv-cache-compression-and-streaming-for-fast-large-language-model-serving/<p><a href="https://arxiv.org/abs/2310.07240"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="강점과-독창성-핵심-알고리즘-그리고-한계">강점과 독창성, 핵심 알고리즘, 그리고 한계<a href="#%ea%b0%95%ec%a0%90%ea%b3%bc-%eb%8f%85%ec%b0%bd%ec%84%b1-%ed%95%b5%ec%8b%ac-%ec%95%8c%ea%b3%a0%eb%a6%ac%ec%a6%98-%ea%b7%b8%eb%a6%ac%ea%b3%a0-%ed%95%9c%ea%b3%84" class="heading-anchor" aria-label="이 섹션에 대한 링크"></a></h2> <blockquote class="border-primary bg-muted/30 hover:bg-muted/40 my-6 rounded-r-lg border-l-4 py-4 pr-4 pl-6 italic transition-all duration-200 ease-out hover:translate-x-1" > <div class="prose prose-sm max-w-none"> <p>물어본 것: 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘</p>Teola Towards End-to-End Optimization of LLM-based Applicationshttps://jaehun.me/posts/teola-towards-end-to-end-optimization-of-llm-based-applications/Fri, 01 Nov 2024 00:00:00 +0900https://jaehun.me/posts/teola-towards-end-to-end-optimization-of-llm-based-applications/<p>논문 : <a href="https://arxiv.org/abs/2407.00326"target="_blank" class="inline-flex items-center gap-1" >https://arxiv.org/abs/2407.00326<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <p>개인의견 : 결국 프리미티브라고 하는 작은 단위로 나눈다는 개념을 도입하는거 같고 이게 LLM이 아닌 경우도 고려해서 한번에 serving을 한다는것이라고 이해를 했는데 vllm의 continuous batching + sequence를 unit한 단위로 나누어서 스케줄링하는거에 대비 얼마만큼의 이득이 있을까 궁금하긴하다.</p>