SparseDecoding: 생성 중 활성화로 프루닝 품질을 높이는 방법
모델이 직접 생성한 토큰으로 프루닝을 보정하고 디코딩 전용 커널을 결합합니다. A100 실험에서 최대 1.48배 가속을 얻은 조건과 품질 손실을 살펴봅니다.
Sparsity-Pruning
4페이지
CoVeR: Coverage-Based Token Pruning for Multi-View 3D Reasoning in VLMs
CoVeR: 지오메트리만으로 멀티뷰 3D 추론의 비주얼 토큰을 92%까지 덜어내는 커버리지 기반 프루닝 한 줄 요약 (TL;DR) 3D 장면을 여러 시점 이미지로 렌더링해 2D VLM에 넣으면 토큰이 시점 수에 비례해 폭증한다. CoVeR는 학습 없이 오직 토큰의 3D 좌표만 사용해 장면 전체를 균등하게…
SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions
SQS: 가지치기와 양자화를 하나의 베이지안 학습으로 — 스파이크-앤-슬랩과 GMM의 만남 TL;DR — 프루닝(pruning)과 저비트 양자화(quantization)를 따로 하면 남는 잉여가 생긴다. SQS는 스파이크-앤-슬랩 사전분포와 가우시안 혼합 모델(GMM)을 하나의 변분…
X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
X-AuT: 행동 프로브와 크로스스케일 증류로 음성 LLM의 오디오 인코더를 깎아내는 방법 한 줄 요약 (TL;DR) 음성 LLM의 오디오 인코더(오디오 Transformer)를 18→16→14 레이어로 점진적으로 프루닝 하면서, 짧은 행동 프로브(behavioral probe) 로 회복 가능한 레이어…