X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
논문 링크 X-AuT: 행동 프로브와 크로스스케일 증류로 음성 LLM의 오디오 인코더를 깎아내는 방법한 줄 요약 (TL;DR)음성 LLM의 오디오 인코더(오디오 Transformer)를 18→16→14 레이어로 점진적으로 프루닝 하면서, 짧은 행동 프 …
12분
Efficient Inference
Large Language Models
Transformer
Machine Learning
Knowledge Distillation
Model Compression