Software Engineering on Jaehun's Blog

Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving

Mon, 07 Sep 2026 00:00:00 +0900

논문 링크

같은 요청, 다른 답: 프리픽스 캐시가 서빙을 비재현적으로 만들고, 양자화가 이를 증폭시킨다

TL;DR — 프리픽스 캐시는 “투명한 최적화"로 여겨지지만 투명하지 않다. 캐시를 끄면 동일 워크로드의 반복 실행이 10개 설정 × 80에피소드 = 800개 전부 비트 단위로 동일 하게 재현되는 반면 (근거: Tab. 2), 캐시를 켜면 에이전트의 궤적이 16비트에서 36.2%, 4비트 양자화에서 75.0% 나 바뀐다 (근거: §IV-D). 그런데 평균 정확도는 움직이지 않는다 — 이것은 “열화(degradation)“가 아니라 “불안정성(instability)“이며, 둘은 다른 대응을 요구한다 (근거: §IV-F, §V).

AIOpsLab: A Holistic Framework to Evaluate AI Agents for Enabling Autonomous Clouds

Wed, 02 Apr 2025 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

물어본 것: 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

BitsAI-CR: Automated Code Review via LLM in Practice

Thu, 13 Feb 2025 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence

Tue, 11 Feb 2025 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

DeepSeek-Coder: When the Large Language Model Meets Programming - The Rise of Code Intelligence

Fri, 07 Feb 2025 00:00:00 +0900

논문 링크

같은 논문을 2025-06-30 에도 한 번 더 정리해 두었다.

강점과 독창성, 핵심 알고리즘, 그리고 한계

KernelGPT Enhanced Kernel Fuzzing via Large Language Models

Tue, 05 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2401.00563

아래글은 Scholar GPT와 대화를 나눈 내용입니다.

핵심 내용과 강점, 알고리즘, 한계

물어본 것: 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

Magicoder Empowering Code Generation with OSS-Instruct

Tue, 05 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2312.02120

아래글은 Scholar GPT와 대화를 나눈 내용입니다.

핵심 내용과 강점, 알고리즘, 한계

물어본 것: 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점