AutoCompress: Automated Hardware-Guided Model Compression
AutoCompress: 서빙 제약을 탐색 목적함수에 직접 넣는 모델 압축 들어가며 대형 언어 모델을 실제 서비스에 올릴 때 엔지니어가 제일 먼저 부딪히는 질문은 "얼마나 줄여야 하지?"가 아니라 "어느 축을 얼마나 줄여야 이 기기와 이 워크로드에서 버틸까?"다. AutoCompress(NVIDIA,…
AutoCompress: 서빙 제약을 탐색 목적함수에 직접 넣는 모델 압축 들어가며 대형 언어 모델을 실제 서비스에 올릴 때 엔지니어가 제일 먼저 부딪히는 질문은 "얼마나 줄여야 하지?"가 아니라 "어느 축을 얼마나 줄여야 이 기기와 이 워크로드에서 버틸까?"다. AutoCompress(NVIDIA,…
토큰을 하나씩 뽑는 순차 병목 대형 언어 모델은 학습 때 문장 전체를 함께 계산할 수 있지만, 글을 만들 때는 앞 토큰을 알아야만 다음 토큰을 고를 수 있다. GPU가 아무리 빨라도 이 순서를 한 번에 건너뛸 수 없어 생성 지연이 커진다. 이 글은 이 병목을 블록 단위 flow로 푸는 Lafa(Large…
온폴리시는 만능이 아니다: 증류 동역학에서 롤아웃 정책·KL 방향·학습률의 진짜 주인공 TL;DR — 강-약 증류(strong-to-weak distillation)에서 온폴리시(OnPD)와 오프폴리시(OffPD)를 분리해 보면, 최종 성능·망각·업데이트 희소성을 좌우하는 것은 롤아웃 정책이 아니라 KL…
X-AuT: 행동 프로브와 크로스스케일 증류로 음성 LLM의 오디오 인코더를 깎아내는 방법 한 줄 요약 (TL;DR) 음성 LLM의 오디오 인코더(오디오 Transformer)를 18→16→14 레이어로 점진적으로 프루닝 하면서, 짧은 행동 프로브(behavioral probe) 로 회복 가능한 레이어…