https://jaehun.me/tags/audio-generation/Recent content in Audio Generation on Jaehun's BlogHugoko-krThu, 17 Sep 2026 00:27:04 +0900https://jaehun.me/posts/paper-2609-12945/Thu, 17 Sep 2026 00:00:00 +0900https://jaehun.me/posts/paper-2609-12945/<p><a href="https://arxiv.org/abs/2609.12945"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="stepaudio-3-gen-이산-자회귀rvq-하나로-음성노래음악효과음을-통합하다">StepAudio 3 Gen: 이산 자회귀(RVQ) 하나로 음성·노래·음악·효과음을 통합하다<a href="#stepaudio-3-gen-%ec%9d%b4%ec%82%b0-%ec%9e%90%ed%9a%8c%ea%b7%80rvq-%ed%95%98%eb%82%98%eb%a1%9c-%ec%9d%8c%ec%84%b1%eb%85%b8%eb%9e%98%ec%9d%8c%ec%95%85%ed%9a%a8%ea%b3%bc%ec%9d%8c%ec%9d%84-%ed%86%b5%ed%95%a9%ed%95%98%eb%8b%a4" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><h2 id="한-줄-요약-tldr">한 줄 요약 (TL;DR)<a href="#%ed%95%9c-%ec%a4%84-%ec%9a%94%ec%95%bd-tldr" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p>StepFun이 발표한 <strong>StepAudio 3 Gen</strong> 은 12.5 Hz 프레임률의 $16 \times 2048$ 잔차 벡터 양자화(RVQ) 토크나이저로 모든 오디오를 하나의 공유 이산 코드 공간에 압축하고, 사전학습된 LLM이 <strong>시간축에서</strong> 첫 번째 코드북 $c_0$ 을, 경량 예측기가 <strong>깊이축에서</strong> 나머지 15개 코드북 $c_1,\dots,c_{15}$ 를 예측하는 완전 이산 자회귀 생성기다. 확산(diffusion)/플로우(flow) 기반 연속 생성 패러다임을 버렸음에도 TTS와 voice design에서 state-of-the-art를 달성했다(§1, §3, §7).</p>