https://jaehun.me/tags/sequence-compression/Recent content in Sequence Compression on Jaehun's BlogHugoko-krSun, 25 Oct 2026 08:25:35 +0900https://jaehun.me/posts/paper-2610-31574v1/Sun, 25 Oct 2026 00:00:00 +0900https://jaehun.me/posts/paper-2610-31574v1/<p><a href="https://arxiv.org/abs/2610.31574v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="도입">도입<a href="#%eb%8f%84%ec%9e%85" class="heading-anchor" aria-label="이 섹션에 대한 링크"></a></h2><p>긴 문맥을 다루는 모델에서 여러 토큰을 하나의 벡터로 줄이는 압축 연산이 성능 병목이 된다. 이 논문은 압축을 가중 평균 선택이 아니라, 토큰들이 정의하는 회귀 문제의 계수를 구하는 문제로 다시 본다. TTR-Compressor는 입력 토큰에서 라벨 없이 릿지 회귀 문제를 만들고, 그 닫힌 형태 해를 압축 표현으로 사용한다.</p>