SQS: 가지치기와 양자화를 하나의 베이지안 학습으로 — 스파이크-앤-슬랩과 GMM의 만남
TL;DR — 프루닝(pruning)과 저비트 양자화(quantization)를 따로 하면 남는 잉여가 생긴다. SQS는 스파이크-앤-슬랩 사전분포와 **가우시안 혼합 모델(GMM)**을 하나의 변분(variational) 학습으로 묶어, 동일한 비트폭에서 더 높은 압축률을, 동일한 압축률에서 더 작은 정확도 손실을 달성한다.
핵심 아이디어
딥러닝 모델을 경량화하는 가장 널리 쓰이는 두 기법은 프루닝(중요하지 않은 가중치를 0으로 만들어 파라미터를 줄임)과 양자화(가중치를 FP32 같은 고정밀에서 INT8·INT4 같은 저비트로 바꿈)이다. 그런데 두 기법을 순차적으로 적용하면 각 단계가 남기는 중복(redundancy)을 보지 못해, 목표 정확도를 지키기 위해 지나치게 보수적인 압축률을 쓰게 된다.
SQS( Sparse Quantized Sub-distribution)가 던지는 질문은 단순하다.
가지치기와 양자화를 동시에 최적화하면 어떨까?
이 논문의 답은 베이지안 변분 추론이다. 하나의 사후분포(posterior)가 “어느 가중치를 지울지"와 “남는 가중치를 어떤 저비트 값으로 바꿀지"를 동시에 학습하게 만든 것이다. 그리고 그 사후분포의 형태가 바로 이 논문의 시그니처인 스파이크-앤-슬랩(spike-and-slab) + GMM이다.
배경: 그들이 해결한 문제
모델 압축의 고전적 문제는 **분포 이동(distributional shift)**이다. 프루닝이나 양자화는 원래 가중치 분포를 어긋나게 만들어 성능 저하를 유발한다. 이를 피하려면:
- 프루닝은 이차 정보(2nd-order)로 가중치 중요도를 재는 OBS/OBC 계열(ExactOBS, PLATON 등)이 발전해왔고,
- 양자화는 STE(straight-through estimator)의 의사-그래디언트로 인한 학습 불안정을 피하기 위해, GMM으로 가중치 분포를 근사하는 연속-매핑(continuous-mapping) 계열이 등장했다.
특히 DGMS는 GMM으로 양자화 집합을 자동 학습하지만, 학습 중 스파스성을 강제하지 못한다는 한계가 있다. 이 문제는 LLM에서 극단적으로 드러난다. Llama3.2-1B와 Qwen2.5-0.5B를 압축할 때 DGMS는 각각 46.67%, 50.80% 의 정확도 폭락을 보였다. 셀프어텐션 가중치가 정규분포가 아닌 롱테일(long-tail) 분포이기 때문에, GMM이 큰 크기의 이상치 가중치를 잡아내지 못했기 때문이다.
즉, 이 논문이 겨냥한 연구 공백은 정리하면 하나다.
높은 압축률을 유지하면서도 성능 저하를 최소화하는, 프루닝과 양자화를 하나로 통합한 방법이 없다.
새로운 접근법: SQS (Sparse Quantized Sub-distribution)
SQS의 핵심은 변분 사후분포를 스파이크-앤-슬랩 + GMM으로 정의한 것이다. 이 구조가 프루닝과 양자화라는 두 목표를 자연스럽게 하나의 분포 안에 담는다.
**사전분포(prior)**는 스파이크-앤-슬랩으로 둔다. 각 가중치 $\theta_i$는 보존 여부를 나타내는 이진 지시자 $\gamma_i$와 함께 다음과 같이 정의된다.
$$\pi(\tilde{\theta}_i) = \lambda\, \mathcal{N}(0, \sigma_0^2) + (1-\lambda)\, \delta_0$$여기서 $\delta_0$는 0에서의 점질량(point mass, 스파이크), $\mathcal{N}(0,\sigma_0^2)$는 연속 분포(슬랩), $\lambda$는 가중치를 보존할 사전 확률이다. 예컨대 목표 스파스성이 90%라면 $\lambda=0.1$로 두어 각 가중치가 90% 확률로 제거되게 한다.
**변분 사후분포(variational posterior)**는 슬랩을 $K$개 성분의 GMM으로 확장한다.
$$q(\tilde{\theta}_i) = \tilde{\lambda}_i \sum_{k=1}^{K} \phi_k(\theta_i)\, \mathcal{N}(\mu_k, \sigma^2_k) + (1-\tilde{\lambda}_i)\, \delta_0$$- $\tilde{\lambda}_i$: 가중치 $\theta_i$를 보존할 변분 확률 (이 값이 낮으면 프루닝됨)
- $\{\mu_k, \sigma^2_k, \pi_k\}_{k=1}^K$: 학습 가능한 양자화 코드북(각 $\mu_k$가 곧 저비트 값)
- $\phi_k(\theta_i)$: 온도 $\tau$로 날카롭게 만든 소프트맥스 혼합 가중치 — $\tau \to 0$이면 단일 지배 성분으로 수렴
이 구조에서 스파이크( $\delta_0$ )는 프루닝을, 슬랩( GMM )은 양자화를 담당한다. 두 작업이 하나의 파라미터 공간에서 공동 최적화되는 것이다.
ELBO와 그 근사
학습 목적함수는 음의 ELBO이며, 문제는 $q(\tilde{\theta}_i)$와 스파이크-앤-슬랩 사전분포 사이의 KL 발산이 닫힌 형태로 풀리지 않는다는 점이다. 저자들은 좌표별 사후 평균 $\theta^{\mathrm{avg}}=\mathbb{E}_{q}[\tilde{\theta}]$를 대입한 근사 목적함수를 유도한다.
$$\Omega_{\text{apx}} = -\log p(D \mid \theta^{\mathrm{avg}}) + \sum_{i=1}^{T} \mathrm{KL}\!\big(\mathrm{Bern}(\tilde{\lambda}_i) \,\|\, \mathrm{Bern}(\lambda)\big) + \sum_{i=1}^{T} \tilde{\lambda}_i\, \mathrm{KL}\!\big(\mathcal{N}(\mu_{k_i^*},\sigma^2_{k_i^*}) \,\|\, \mathcal{N}(0,\sigma_0^2)\big)$$- 첫 항: 전체 파라미터 벡터 $\theta^{\mathrm{avg}}$로 우도를 평가 (plug-in 근사)
- 둘째 항: 각 가중치의 보존 확률 $\tilde{\lambda}_i$를 사전 $\lambda$에 가깝게 규제 (스파스성 유도)
- 셋째 항: 선택된 성분 $k_i^*=\arg\max_k \phi_k(\theta_i)$를 사전 슬랩에 가깝게 규제
이론적으로는, 온화한 조건 하에서 SQS의 변분 사후분포가 참 회귀함수로 헬링거 거리(Hellinger distance) 관점에서 수렴함을 보인다. 수렴률은 통계적 추정 오차 $\varepsilon_n^*$, 변분 오차 $r_n^*$, 근사 오차 $\xi_n^*$ 세 항으로 분해되며, 이 중 앞의 둘은 $n\to\infty$에서 사라진다.
작동 원리: 구체적인 예시로 살펴보기
개념을 손에 잡히게 하기 위해, 한 층에 가중치 6개가 있다고 하자.
$$\theta = [0.92,\ -0.81,\ 0.07,\ 0.04,\ -0.85,\ 0.90]$$$K=2$ (즉 1비트, $\log_2 2 = 1$) 성분의 GMM을 가정하면, 학습 후 코드북은 대략 $\mu_1 \approx 0.88$, $\mu_2 \approx -0.83$로 수렴할 것이다.
1단계 — 양자화(슬랩): 각 가중치에 대해 혼합 가중치 $\phi_k(\theta_i)$가 계산되어, $+0.92$는 $\mu_1$로, $-0.81$은 $\mu_2$로 배정된다. 크기가 큰 가중치는 코드북 값으로 “스냅"된다.
2단계 — 프루닝(스파이크): 반면 $0.07$, $0.04$ 같은 미미한 가중치는 보존 확률 $\tilde{\lambda}_i$가 낮게 학습되고, 결국 $\delta_0$로 떨어져 0이 된다.
결과:
$$\tilde{\theta} = [0.88,\ -0.83,\ 0,\ 0,\ -0.83,\ 0.88]$$| 항목 | 원본 | 압축 후 |
|---|---|---|
| 저장 비트 | $6 \times 32 = 192$ bit | $4 \times 1$ (인덱스) $+ 2 \times 32$ (코드북) $= 68$ bit |
| 비-0 가중치 | 6개 | 4개 (33% 제거) |
압축률 공식은 이 계산을 일반화한다.
$$\text{Compression rate} = \frac{32 \times \text{원본 가중치 수}}{\log_2 K \times \text{비-0 가중치 수} + 32 \times K}$$실제 모델에서는 비-0 가중치 수가 압도적으로 커서 분모의 $32\times K$ (코드북 저장)는 무시할 수 있을 만큼 작아지고, 인덱스 저장이 지배적이 된다.
세 가지 “비밀 병기”
SQS의 성능은 세 가지 설계 선택에서 나온다.
스파이크-앤-슬랩 사전분포. 가우시안 사전분포로 바꾸면 어떻게 될까? ResNet-18/CIFAR-100에서 $K=16$, 4비트 기준으로, 비-0 비율 20%(40× 압축)에서 가우시안 사전은 44.04% 의 정확도 폭락을 보인 반면 스파이크-앤-슬랩은 5.59% 에 그쳤다. 점질량 $\delta_0$가 높은 스파스성에서 사후 스파스성을 효과적으로 유도하기 때문이다.
아웃라이어 인식 윈도잉(outlier-aware windowing). LLM 가중치는 롱테일 분포라 균등 크기 윈도우로 나누면 큰 값들이 넓은 구간에 뭉개져 조악하게 양자화된다. 저자들은 5×IQR 규칙으로 분포를 4개 윈도우로 나눠 양쪽 꼬리를 따로 보존한다. Qwen2.5-0.5B/SST-2에서 동일 조건(6비트, 50% 비-0)일 때 정확도 손실이 균등 윈도우 5.40% → 아웃라이어 인식 2.46% 로 2.94%p 개선됐다.
베이지안 평균화(Bayesian averaging). 추론 시 사후분포에서 $M$개의 가중치 표본을 뽑아 예측을 평균한다. 가장 그럴듯한 코드북 값 하나만 쓰는 그리디 방식보다 항상 손실이 작다. $M{=}1$일 때 3.76%이던 정확도 손실이 $M{=}5$에서 2.86%, $M{=}50$에서 2.63%로 줄어들며, 대부분의 이득은 적은 표본에서 얻어진다(기본값 $M{=}4$).
아웃라이어 인식 윈도잉의 효과는 아래 그림에서 확연하다. Llama3.2-1B 셀프어텐션의 K, O, Q 프로젝션 가중치 분포를 보면, 아웃라이어 인식 윈도우(좌)가 균등 윈도우(중)보다 전체 정밀도 분포를 훨씬 잘 보존하고, 특히 왼쪽 꼬리 영역(우)에서 차이가 두드러진다.
성능 검증: 주요 결과
평가 지표는 두 가지다: 압축률과 성능 손실(정확도 또는 F1 손실). 모든 방법은 동일한 전체 정밀도 사전학습 모델로 초기화되고, 동일한 하이퍼파라미터·24시간 상한선에서 압축된다.
ResNet (CIFAR-10)
| 모델 | 방법 | 비트 | 비-0 비율 | 압축률 | Top-1 정확도 손실 | |—|—:|—:|—:|—:| | ResNet-20 | DGMS | 2 | 56% | 29× | 0.87% | | ResNet-20 | SQS | 2 | 50% | 32× | 1.47% | | ResNet-32 | TTQ | 2 | 100% | 16× | 1.90% | | ResNet-32 | SQS | 2 | 50% | 32× | 1.29% | | ResNet-56 | TTQ | 2 | 100% | 16× | 1.06% | | ResNet-56 | SQS | 2 | 50% | 32× | 0.84% |
ResNet-56에서 SQS는 32× 압축을 달성하면서 정확도 손실을 0.84% 로 억제했다. 같은 2비트에서 양자화만 하는 TTQ(16×)보다 2배 높은 압축률에 손실은 더 작다.
BERT-base (SQuAD v1.1)
| 방법 | 압축 유형 | 비트 | 압축률 | F1 손실 | |—|—:|—:|—:| | PLATON | P | 32 | 5× | 2.20 | | GPTQ | Q | 3 | 11× | 2.51 | | OBC | P+Q | 4 | 16× | 2.33 | | SQS | P+Q | 4 | 32× | 1.66 |
SQS는 프루닝·양자화를 같이 하는 OBC보다 2배 높은 압축률을, F1 손실은 더 작게 기록했다.
Llama3.2-1B / Qwen2.5-0.5B (SST-2)
| 모델 | 방법 | 비트 | 비-0 비율 | 압축률 | Top-1 정확도 손실 | |—|—:|—:|—:|—:| | Llama3.2-1B | AWQ | 4 | 100% | 8× | 0.46% | | Llama3.2-1B | DGMS | 6 | 82% | 7× | 46.67% | | Llama3.2-1B | SQS | 6 | 25% | 21× | 1.48% | | Qwen2.5-0.5B | AWQ | 4 | 100% | 8× | 1.54% | | Qwen2.5-0.5B | DGMS | 6 | 34% | 16× | 50.80% | | Qwen2.5-0.5B | SQS | 6 | 50% | 11× | 2.46% |
LLM에서 가장 눈에 띄는 대목은 DGMS의 붕괴다. 같은 6비트에서 DGMS가 46.67%~50.80%의 정확도 폭락을 보일 때, SQS는 1.48%~2.46%의 손실로 21×~11× 압축을 달성한다. AWQ가 손실이 더 작지만 이는 양자화 전용(프루닝 없음)이라 압축률이 8×에 머문다.
Bayesian Bits와의 비교
게이트를 균등 그리드에 두는 대표적 공동 압축 기법인 Bayesian Bits와의 ResNet-56/CIFAR-10 비교에서, SQS는 2비트·50% 비-0로 17.0× 압축, 0.84% 손실을 기록해 Bayesian Bits의 13.5× 압축·6.79% 손실을 압도했다. SQS는 코드북 값 자체를 GMM 평균으로 학습하므로 비균등(non-uniform) 코드북이 되고, 게이트 방식보다 스파스성을 정밀하게 제어할 수 있다.
우리의 관점: 강점, 한계, 그리고 이 연구가 중요한 이유
강점
- 진짜 통합(unified). 대부분의 공동 압축이 두 단계를 연결한 것에 가깝다면, SQS는 하나의 사후분포가 두 목표를 동시에 최적화한다. 이론적 수렴 보장까지 갖춘 드문 사례다.
- 강건한 양자화. GMM을 단순 클러스터링이 아니라 사후 추론의 수단으로 쓰는 설계가 베이지안 평균화를 가능케 해 양자화 노이즈에 대한 강건성을 얻는다. 이는 DGMS와의 결정적 차이다.
- LLM의 롱테일 문제를 정면으로 다룸. 아웃라이어 인식 윈도잉은 AWQ 같은 이상치 보존 기법과 같은 문제의식을 공유하면서, 프루닝과 결합된 세팅에서 동작한다.
한계
- 태스크 적응이 필요. LLM 실험에서 베이스 모델은 SST-2로 파인튜닝된 후에 압축된다. 이 단계를 생략하면 성능이 크게 떨어진다. 즉 보고된 수치는 일반 능력 보존이 아니라 태스크 적응 모델의 압축을 의미한다. 분포 이동이나 비관련 태스크에서의 성능은 검증되지 않았다.
- 이론의 범위가 좁다. 수렴 증명은 회귀 문제 + 완전연결 신경망으로 한정된다. 트랜스포머나 분류 세팅은 다루지 않는다.
- 추론 지연. 베이지안 평균화는 여러 표본을 쓰므로 단일 압축 모델 대비 지연이 늘 수 있다. 정확도-지연 트레이드오프는 타깃 하드웨어에서 실측돼야 한다.
- 추가 최적화 비용. 사전학습 후 재학습이 필요해 배포 전 학습 시간·에너지가 늘어난다. 논문은 이를 명시적으로 인정한다.
왜 중요한가
이 연구의 가치는 “프루닝과 양자화를 합치면 어차피 더 잘된다"는 상식에 엄밀한 베이지안 프레임워크와 수렴 보장을 부여한 데 있다. 특히 온디바이스 LLM 배포가 현실 요구가 된 지금, 21× 압축을 1.48% 손실로 달성한다는 결과는 “압축률 vs 성능"이라는 오래된 긴장을 실질적으로 완화한다.
다음 단계는?: 앞으로의 길
저자들이 열어둔 갈래는 명확하다. 첫째, 태스크 적응을 요구하지 않는 일반 목적 능력 보존으로의 확장 — 이는 압축 전 파인튜닝 의존을 없애는 방향이다. 둘째, 완전연결·회귀에 국한된 이론을 트랜스포머·분류 세팅으로 일반화하는 작업. 셋째, DGMS 붕괴에서 보듯 이상치 보존이 LLM 압축의 성패를 가르므로, 더 정교한 테일 모델링(비대칭 분포, 레이어별 혼합 코드북)이 자연스러운 후속 과제다. 마지막으로, 베이지안 평균화의 지연 비용을 줄이기 위한 표본 수 최적화와 하드웨어 친화적 커널로의 통합이 실전 배포를 위해 남아 있다.
논문 원문의 표
arXiv e-print 의 LaTeX 원본에서 기계적으로 옮긴 표입니다. 숫자는 논문의 값이며 모델을 거치지 않았습니다.
표 1. For compressing ResNet models, we benchmark all methods evaluated on the CIFAR-10 dataset. Using ResNet-32 and ResNet-56 models, our SQS\xspace consistently achieves higher compression rates with smaller Top-1 accuracy drops compared to all baselines.
| 90ResNet-20 | Methods | Compression | Bits | Non-zero rate | Compression | Top-1 accuracy |
|---|---|---|---|---|---|---|
| type | (%) | rate | drop | |||
| LQNets | Q | $2$ | $100\%$ | $16\times$ | $1.20\%$ | |
| DGMS | P+Q | $2$ | $56\%$ | $29\times$ | $\mathbf{0.87\%}$ | |
| SQS\xspace (Ours) | P+Q | $2$ | $\mathbf{50\%}$ | $\mathbf{32\times}$ | $1.47\%$ | |
| (a) Compressing 32Bits ResNet-20 model on CIFAR-10 dataset with Top-1 accuracy $92.60\%$. | ||||||
| 90ResNet-32 | Method | Compression | Bits | Non-zero rate | Compression | Top-1 accuracy |
| type | (%) | rate | drop | |||
| TTQ | Q | $2$ | $100\%$ | $16\times$ | $1.90\%$ | |
| DGMS | P+Q | $2$ | $59\%$ | $27\times$ | $1.30\%$ | |
| SQS\xspace (Ours) | P+Q | $2$ | $\mathbf{50\%}$ | 32$\times$ | $\mathbf{1.29\%}$ | |
| (b) Compressing 32Bits ResNet-32 model on CIFAR-10 dataset with Top-1 accuracy $93.53\%$. | ||||||
| 90ResNet-56 | Method | Compression | Bits | Non-zero rate | Compression | Top-1 accuracy |
| type | (%) | rate | drop | |||
| TTQ | Q | 2 | $100\%$ | 16$\times$ | $1.06\%$ | |
| L1 | P | 32 | $10\%$ | 10$\times$ | $1.83\%$ | |
| DGMS | P+Q | $2$ | $52\%$ | $31\times$ | $0.89\%$ | |
| SQS\xspace (Ours) | P+Q | 2 | $\mathbf{50\%}$ | $\mathbf{32\times}$ | $\mathbf{0.84\%}$ | |
| (c) Compressing 32Bits ResNet-56 model on CIFAR-10 dataset with Top-1 accuracy $94.37\%$. |
표 2. Compressing 32Bits BERT-base model on SQuADv1.1 dataset with F1 score $88.68\%$. Our SQS\xspace achieves higher compression rates with smaller F1 score drops compared to all baselines.
| 90BERT-base | Methods | Compression | Bits | Non-zero rate | Compression | F1 score |
|---|---|---|---|---|---|---|
| type | (%) | rate | drop | |||
| GMP | P | $32$ | $50\%$ | $2\times$ | $22.89$ | |
| L-OBS | P | $32$ | $50\%$ | $2\times$ | $10.86$ | |
| ExactOBS | P | $32$ | $25\%$ | $4\times$ | $6.43$ | |
| PLATON | P | $32$ | $20\%$ | $5\times$ | $2.20$ | |
| OBQ | Q | $3$ | $100\%$ | $11\times$ | $3.24$ | |
| GPTQ | Q | $3$ | $100\%$ | $11\times$ | $2.51$ | |
| OBC | P+Q | $4$ | $50\%$ | $16\times$ | $2.33$ | |
| SQS\xspace (Ours) | P+Q | 4 | $\mathbf{25\%}$ | $\mathbf{32\times}$ | $\mathbf{1.66}$ |
표 3. Compression results for Llama3.2 and Qwen2.5 models on the SST-2 dataset. Our SQS\xspace achieves significantly higher compression rates than AWQ while maintaining comparable ($\le 3\%$) performance drops.
| 90Llama3.2 | Method | Compression | Bits | Non-zero rate | Compression | Top-1 accuracy |
|---|---|---|---|---|---|---|
| type | (%) | rate | drop | |||
| AWQ | Q | $4$ | $100\%$ | $8\times$ | $\mathbf{0.46\%}$ | |
| DGMS | P+Q | $6$ | $82\%$ | $7\times$ | $46.67\%$ | |
| SQS\xspace (Ours) | P+Q | $6$ | $\mathbf{25\%}$ | $\mathbf{21\times}$ | $1.48\%$ | |
| (a) Compressing 32Bits Llama3.2-1B model on SST-2 dataset with Top-1 accuracy $94.72\%$. | ||||||
| 90Qwen2.5 | Method | Compression | Bits | Non-zero rate | Compression | Top-1 accuracy |
| type | (%) | rate | drop | |||
| AWQ | Q | 4 | 100% | $8\times$ | $\mathbf{1.54\%}$ | |
| DGMS | P+Q | $6$ | $\mathbf{34\%}$ | $\mathbf{16}\times$ | $50.80\%$ | |
| SQS\xspace (Ours) | P+Q | $6$ | $50\%$ | ${11\times}$ | $2.46\%$ | |
| (b) Compressing 32Bits Qwen2.5-0.5B model on SST-2 dataset with Top-1 accuracy $92.60\%$. |
표 4. Impact of the Gaussian prior and the spike-and-slab prior, for compressing a 32 bits ResNet-18 model on the CIFAR-100 dataset with Top-1 Accuracy $79.26\%$. The spike-and-slab prior used in our SQS\xspace consistently yields better performance than the Gaussian prior across all sparsity-level settings.
| 90ResNet-18 | Bits | Non-zero rate (%) | Compression rate | Top-1 accuracy drop Gaussian prior | Top-1 accuracy drop Spike-and-slab prior (Ours) |
|---|---|---|---|---|---|
| $4$ | $50\%$ | $16\times$ | $4.51\%$ | $\mathbf{3.12}\%$ | |
| $4$ | $40\%$ | $20\times$ | $5.60\%$ | $\mathbf{3.21}\%$ | |
| $4$ | $30\%$ | $27\times$ | $11.42\%$ | $\mathbf{5.54}\%$ | |
| $4$ | $20\%$ | $40\times$ | $44.04\%$ | $\mathbf{5.59}\%$ |
표 5. > Comparison of outlier-aware and equal-size windowing for SQS compression of Qwen2.5-0.5B on SST-2, with a full-precision Top-1 accuracy of 92.60%. At 6 bits and 50% nonzero weights, the accuracy drop is 2.46 percentage points with outlier-aware windowing and 5.40 percentage points with equal-size windowing, a difference of 2.94 percentage points.
| 90Qwen2.5 | Method | Windowing strategy | Bits | Non-zero rate (%) | Top-1 accuracy drop $\downarrow$ |
|---|---|---|---|---|---|
| SQS | Outlier-aware window | $6$ | $50\%$ | $\mathbf{2.46\%}$ | |
| Equal-size window | $6$ | $50\%$ | $5.40\%$ |
표 6. Impact of the number of Bayesian-averaging samples $M$ (Equation ). Compressing ResNet-18 on CIFAR-100 with $K{=}16$ components at $50\%$ non-zero weights. Accuracy drop is measured against the full-precision model ($79.26\%$). Increasing $M$ steadily reduces the drop.
| Inference strategy | $M{=}1$ | $M{=}5$ | $M{=}20$ | $M{=}50$ |
|---|---|---|---|---|
| Top-1 accuracy\ Drop (%) $\downarrow$ | $3.76$ | $2.86$ | $2.85$ | $\mathbf{2.63}$ |
표 7. Comparison of SQS\xspace with Bayesian Bits on ResNet-56/CIFAR-10. The full-precision model achieves $94.37\%$ Top-1 accuracy.
| Method | Compression | Weight bits | Non-zero | Effective | Compression | Top-1 accuracy |
|---|---|---|---|---|---|---|
| type | rate (%) | bits/weight | rate | drop | ||
| Bayesian Bits | P+Q | $2/4/8$ (mixed) | $100\%$ | $\approx 2.36$ | $\approx 13.5\times$ | $6.79\%$ |
| SQS\xspace (Ours) | P+Q | $2$ | $\mathbf{50\%}$ | $\mathbf{1.87}$ | $\mathbf{17.0\times}$ | $\mathbf{0.84\%}$ |
표 8. Summary of the notation used in the approximate-objective derivation.
| Symbol | Meaning |
|---|---|
| $\theta_i$ | Pre-trained full-precision weight that is fixed and provided as input to the compression procedure. |
| $\tilde{\theta}_i$ | Random sparse and quantized weight learned during compression. |
| $q(\tilde{\theta}_i)$ | Marginal variational distribution of $\tilde{\theta}_i$, defined by the spike-and-GMM model in Equation . |
| $\pi(\tilde{\theta}_i)$ | Spike-and-slab prior defined in Equation . |
| $\gamma_i$; $\lambda$; $\tilde{\lambda}_i$ | Keep/prune indicator, prior retention probability, and variational retention probability, respectively. |
| $\phi_k(\theta_i)$ | Responsibility of GMM component $k$ for weight $i$, evaluated as a function of the fixed weight $\theta_i$. |
| $\mu_k,\sigma_k^2$ | Learnable component mean and variance; the means $\mu_k$ define the quantization levels. |
| $\sigma_0^2$ | Variance of the Gaussian slab in the spike-and-slab prior. |
| $\widehat{(\,\cdot\,)}$ | Quantity estimated after optimization, such as $\hat{\mu}_k$, $\hat{\lambda}_i$, or $\widehat{\phi}_k$. |
| $K$, $T$, $M$ | Number of GMM components, total number of weights, and number of posterior samples used for Bayesian averaging, respectively. |
이 글의 그림은 arXiv:2510.08999 원본에서 가져왔습니다 (CC BY 4.0). 크기와 형식만 바꿨습니다.
댓글