TL;DR — 프리픽스 캐시는 “투명한 최적화"로 여겨지지만 투명하지 않다. 캐시를 끄면 동일 워크로드의 반복 실행이 10개 설정 × 80에피소드 = 800개 전부 비트 단위로 동일 하게 재현되는 반면 (근거: Tab. 2), 캐시를 켜면 에이전트의 궤적이 16비트에서 36.2%, 4비트 양자화에서 75.0% 나 바뀐다 (근거: §IV-D). 그런데 평균 정확도는 움직이지 않는다 — 이것은 “열화(degradation)“가 아니라 “불안정성(instability)“이며, 둘은 다른 대응을 요구한다 (근거: §IV-F, §V).

2609.04748v1 on Jaehun's Blog

Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving

같은 요청, 다른 답: 프리픽스 캐시가 서빙을 비재현적으로 만들고, 양자화가 이를 증폭시킨다