Tailoring the Quantization Space for 1-Bit KV Cache Compression
논문 링크 TaSQ: 1비트 KV 캐시를 위한 양자화 공간 ‘맞춤 설계’TL;DR — TaSQ(Tailored Space Vector Quantization)는 벡터 양자화(VQ)가 적용될 타깃 공간 자체를 재설계해, KV 캐시를 …
15분
KV Cache
Quantization
Efficient Inference
Long Context
Large Language Models
Vector Quantization