SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions

Sun, 13 Sep 2026 00:00:00 +0900

논문 링크

SQS: 가지치기와 양자화를 하나의 베이지안 학습으로 — 스파이크-앤-슬랩과 GMM의 만남

TL;DR — 프루닝(pruning)과 저비트 양자화(quantization)를 따로 하면 남는 잉여가 생긴다. SQS는 스파이크-앤-슬랩 사전분포와 **가우시안 혼합 모델(GMM)**을 하나의 변분(variational) 학습으로 묶어, 동일한 비트폭에서 더 높은 압축률을, 동일한 압축률에서 더 작은 정확도 손실을 달성한다.

X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation

Sat, 12 Sep 2026 00:00:00 +0900

논문 링크

X-AuT: 행동 프로브와 크로스스케일 증류로 음성 LLM의 오디오 인코더를 깎아내는 방법

한 줄 요약 (TL;DR)

음성 LLM의 오디오 인코더(오디오 Transformer)를 18→16→14 레이어로 점진적으로 프루닝 하면서, 짧은 행동 프로브(behavioral probe) 로 회복 가능한 레이어 조합을 고르고 크로스스케일 증류(1.7B teacher → 0.6B student) 와 3단계 회복으로 손실을 복구하는 프레임워크 X-AuT 를 제안한다. 14레이어 모델은 오디오 타워 파라미터를 20.7% 줄이면서 매크로 오류율을 5.75% (baseline 5.61%)로 거의 유지했고, 16레이어 모델은 오히려 5.27% 로 기준선을 능가했다 (근거: Abstract, §1).

Sparsity-Pruning on Jaehun's Blog

SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions

SQS: 가지치기와 양자화를 하나의 베이지안 학습으로 — 스파이크-앤-슬랩과 GMM의 만남

X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation

X-AuT: 행동 프로브와 크로스스케일 증류로 음성 LLM의 오디오 인코더를 깎아내는 방법

한 줄 요약 (TL;DR)