https://jaehun.me/tags/vector-quantization/Recent content in Vector Quantization on Jaehun's BlogHugoko-krTue, 06 Oct 2026 09:24:36 +0900https://jaehun.me/posts/paper-2610-03027v1/Tue, 06 Oct 2026 00:00:00 +0900https://jaehun.me/posts/paper-2610-03027v1/<p><a href="https://arxiv.org/abs/2610.03027v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="tasq-1비트-kv-캐시를-위한-양자화-공간-맞춤-설계">TaSQ: 1비트 KV 캐시를 위한 양자화 공간 &lsquo;맞춤 설계&rsquo;<a href="#tasq-1%eb%b9%84%ed%8a%b8-kv-%ec%ba%90%ec%8b%9c%eb%a5%bc-%ec%9c%84%ed%95%9c-%ec%96%91%ec%9e%90%ed%99%94-%ea%b3%b5%ea%b0%84-%eb%a7%9e%ec%b6%a4-%ec%84%a4%ea%b3%84" class="heading-anchor" aria-label="이 섹션에 대한 링크"></a></h2><p><strong>TL;DR</strong> — TaSQ(Tailored Space Vector Quantization)는 벡터 양자화(VQ)가 적용될 <strong>타깃 공간 자체를 재설계</strong>해, KV 캐시를 채널당 약 1.25비트로 압축하면서도 BF16에 근접한 품질을 유지한다. 핵심은 쿼리 가이드 채널 가중치, 헤드 공유 정규화, 공분산 인지 채널 그룹핑을 <strong>프리-RoPE 키</strong>에 적용하는 것이다. 단일 RTX 6000 Ada에서 KV 캐시 풀을 12.48배 확장하고, 최대 배치를 6→84(14배), 피크 처리량을 1.87배로 끌어올렸다 (근거: §Abstract, Fig. 4).</p>