StepAudio 3 Gen Technical Report

목적함수는 텍스트·$c_0$ 에 대한 토큰 단위 항과 15개 잔차 코드북 항의 합이다.

여기서 $\mathcal{L}_{\mathrm{sp}}$ 는 깊이에 대해 합산한다(평균이 아니다). $\lambda$ 는 단계별로 바뀌는 유일한 가중치다(§3, §5).

간섭 인지 점진적 사전학습 (4단계)

저자들은 표현 수준과 최적화 수준의 간섭을 각각 해결한다(§1, §5).

• 입력(표현) 측: 전체 RVQ 프레임의 합산 임베딩이 RVQ Adaptor를 거친 뒤 일반 토큰 임베딩에 더해진다. Adaptor는 0 초기화라 초기에는 항등 사상이므로, 별도 시퀀스 인코더나 백본 교체 없이 오디오 입력에 모달리티별 변환을 준다.
• 최적화 측: 4단계 커리큘럼으로, 무작위 초기화된 잔차 코드 예측기의 조건부 은닉 상태를 백본에서 분리(detach)시켜 15-코드북 손실이 즉시 백본을 재구성하는 것을 막는다.

각 단계는 다음과 같다(Tab. 1, §5).

• Stage 1 (정렬): 동결 백본 아래 ASR·음성→텍스트 번역 데이터로, 텍스트 출력만 지도한다. 입력측 오디오 임베딩과 Adaptor만 학습하고 백본·LM 헤드·코드 예측기는 LR 0이다. Adaptor의 down-projection이 0 초기화라 초기에 항등 사상 → 텍스트 능력 드리프트가 엄밀히 0이므로 텍스트 리플레이가 필요 없다.
• Stage 2 (이해): 전체 모델 동결 해제, 오디오 이해 과제와 텍스트 코퍼스를 1:1 혼합(여전히 오디오 출력은 지도하지 않음). LR $2\times10^{-5}$ 상수, from-scratch 모듈은 $10\times$ LR 승수 + weight decay 제외.
• Stage 3 (분리 생성): 사전학습의 본체. 텍스트:TTS:인터리브 대화 = 3:1:2 혼합(텍스트 점유율 50% 유지). 코드 예측기의 조건 입력을 백본 은닉 상태에서 detach → 잔차 음향 부분은 예측기만 학습, 백본은 토큰 목적함수로만 갱신. $\lambda=1.0$. 약 1.6 T tokens, 총 연산의 약 60%(256×H800, 130k steps).
• Stage 4 (쿨다운): detach 해제 → 잔차 음향이 백본으로 역전파되어 은닉 상태가 좋은 음향 조건이 된다. $\lambda$ 를 $1.0\to0.1$ 로 낮춰 두 항의 크기를 비슷하게 맞춘다. 컨텍스트 병렬로 시퀀스를 16,384 → 32,768 로 확장(약 44분 오디오). 약 600 B tokens.

이후 SFT(전체 파라미터, $\lambda=0.1$, 약 5,000시간 오디오, 오디오 임베딩·Adaptor·예측기 $10\times$ LR)와 GRPO 강화학습을 거친다(§6).

조건부 제어: ROLE / DIRECTOR / SCRIPT

모델은 도메인별 API 대신 통합 명령 포맷으로 제어된다. 각 요청은 세 필드로 구성된다(§1).

• ROLE: 화자 정체성·음성 특징(음색, 말투, 감정, 억양, 방언, 웃음·숨·휴지 같은 준언어적 특징까지).
• DIRECTOR: 음향 장면·생성 의도(환경음, 음악, 말투 등).
• SCRIPT: 시간축의 말·소리 이벤트 배열. 말 구간은 화자 태그로 접두하고 (description) 로 스타일/감정을, 효과음·음악은 [description] 으로 표기해 상대 순서를 명시한다.

작동 원리: 구체적인 예시로 살펴보기

“부드러운 여성 목소리로 ‘안녕하세요’ 라고 말하고, 배경에는 빗소리가 깔리는” 장면을 생성한다고 하자. 입력은 다음과 같은 형태로 주어진다(§1).

ROLE: 20대 여성, 부드럽고 차분한 음색
DIRECTOR: 조용한 실내, 창밖에 내리는 비
SCRIPT: [빗소리 시작] <SPK_1> (따뜻하게) 안녕하세요. [빗소리 계속]

전체 흐름을 다이어그램으로 그리면 이렇다.

  flowchart LR
    A[파형 24 kHz] --> B[SSL 의미 인코더 + 합성곱 음향 인코더]
    B --> C["16×2048 RVQ 양자화"]
    C -->|"16개 임베딩 합산"| D[RVQ Adaptor]
    D -->|"+ 토큰 임베딩 (오디오 위치만)"| E[LLM 백본]
    E -->|"시간축: c0 예측"| F["c0 (어휘 내 2048개 토큰)"]
    E -->|"은닉 상태 z_t"| G[RVQ Code Predictor]
    F --> G
    G -->|"깊이축: c1~c15 예측"| H[16-코드 프레임]
    H --> I[Neural codec 디코더] --> J[24 kHz 오디오]

생성 단계를 시간축으로 따라가 보자. 오디오는 12.5 Hz, 즉 1초에 12.5 프레임이다(§5). 각 프레임 $t$ 는 16개 코드 $c_{t,0},\dots,c_{t,15}$ 로 표현된다.

1. LLM이 텍스트 토큰들(ROLE, DIRECTOR, SCRIPT 의 문자열)을 순차 처리한다.
2. 오디오를 내보낼 위치에 도달하면, LLM의 LM 헤드가 첫 코드 $c_{t,0}$ 를 어휘 내 2,048개 오디오 토큰 중 하나로 샘플링한다. 이 토큰은 대략 “지금 이 프레임이 어떤 소리인가"의 굵은 의미(모음/자음/빗소리/무음 등)를 담는다.
3. 동시에 그 위치의 백본 은닉 상태 $\mathbf{z}_t$ 와 방금 뽑은 $c_{t,0}$ 가 RVQ Code Predictor(4층 causal Transformer, §1)의 접두어로 들어가, 깊이축으로 $c_{t,1},\dots,c_{t,15}$ 를 자동회귀적으로 완성한다. 이 15개 코드는 같은 프레임의 음향 디테일(음색, 잡음, 공명 등)을 채운다.
4. 16개 코드가 모여 완전한 RVQ 프레임이 되고, neural codec 디코더가 이를 24 kHz 파형 조각으로 되돌린다.

아주 단순한 3-프레임 toy 예시로 표현하면 다음과 같다(값은 예시).

핵심은 시간축(의미·계획)과 깊이축(음향 디테일)의 책임 분리다. LLM은 2,048개짜리 굵은 의미 토큰 하나만 고르면 되므로 시퀀스가 길어지지 않고, 잔차 음향은 경량 예측기가 떠안는다(§1, §3).

성능 검증: 주요 결과

평가는 세 질문으로 구성된다: RVQ Adaptor가 다중 코드북 표현을 잘 통합하는가, 점진적 사전학습이 LLM 텍스트 능력을 보존하는가, 그리고 결과 모델의 생성 품질·제어력이 좋은가(§7).

(1) RVQ Adaptor의 효과

Adaptor 유무에 따른 오디오 벤치마크 비교는 아래와 같다(Tab. 2, §7). 모든 지표에서 Adaptor를 쓴 쪽이 압도적으로 우수하다.

특히 SpeechMMLU(T2S)가 12.13% → 58.76%, CoVoST En→Zh BLEU가 12.05 → 30.56 로 2배 이상 뛰는 것은, Adaptor가 오디오 임베딩을 LLM 임베딩 공간에 정렬해 줌으로써 이해 능력 자체가 살아난다는 것을 보여준다(§7).

(2) 점진적 사전학습의 텍스트 보존 효과

3단계 baseline과 비교했을 때, 간섭 인지 방식이 모든 텍스트 벤치마크에서 우위를 보인다(Tab. 3, §7).

MATH(36.62 → 45.07, +8.45p), GSM8K(67.94 → 74.05, +6.11p) 같은 추론 벤치에서 특히 크게 보존되는데, 이는 detach + 50% 텍스트 리플레이 + 0초기화 Adaptor가 오디오 손실이 백본 추론 능력을 갉아먹는 것을 실질적으로 막는다는 증거다(§5, §7).

(3) TTS: 인간 평가에서 SOTA

TTS는 인간 유사성(human-likeness)에 초점을 두고 Arena 방식 이중 비교로 평가한다. CER·화자 유사도(SS) 같은 객관 지표는 운율이 평평해도 낮게 나올 수 있어, 표현력·자연스러움을 제대로 반영하지 못한다는 게 저자들의 논리다(§7).

• Elo 1755.33로 1위, 5개 상용 TTS(Qwen-Audio-3.0-TTS-Plus, Doubao-App, MiniMax-Speech-2.8-HD, Inworld-TTS-2, StepAudio 2.5 TTS)를 모두 제쳤다(Fig. 2).
• 1,500회 비교, 상대당 100회. 종합 승률 82.0%, 상대별 73.0%–90.0% 로 모든 매치업에서 우위(Fig. 2).

(4) Voice Design: 객관 벤치마크 + 인간 선호 모두 1위

InstructTTSEval 벤치마크(중·영 각 1,000문장 × APS/DSD/RP 3조건 = 시스템당 6,000 발화)에서 Gemini 3.1 Pro가 이진 스타일 일관성을 판정한다(Tab. 4, §7).

중국어 평균 85.2%, 영어 평균 77.7% 로 두 언어 모두 1위다. 인간 선호 평가에서도 Elo 1668.5로 1위, 종합 승률 75.5%(상대별 65.3%–85.7%)를 기록했다(Fig. 3).

그 외 능력 (Extensions)

음성 복제 기반 노래(speech-to-vocal), 60초를 넘는 일관된 기악곡, 단일 효과음부터 다중 음원·시간 배열이 있는 복합 음향 장면, 그리고 대사·분위기·배경음을 함께 모델링하는 vibe speech와 다중 화자 대화까지 지원한다(§8).

우리의 관점: 강점, 한계, 그리고 이 연구가 중요한 이유

강점

가장 돋보이는 것은 공학적 솜씨의 완성도다. 오디오를 LLM에 접붙이는 과정에서 발생하는 “텍스트 지능 망각"을 단순히 “텍스트 리플레이를 섞었다” 정도가 아니라, 표현(0초기화 Adaptor → 항등 사상)과 최적화(stop-gradient detach) 두 채널로 나누어 정밀하게 다룬 점이 이 논문의 핵심 공헌이다(§1, §5). 0초기화 덕분에 Stage 1에서 텍스트 드리프트가 엄밀히 0이 된다는 주장은 이론적으로 깔끔하고, Tab. 3의 결과가 이를 뒷받침한다.

둘째, time–depth 분해를 delayed pattern 대신 택한 이유가 명확하다. 프레임 인수분해가 근사가 아니라 정확하다는 점(과거 코드가 백본을 통해 이미 $\mathbf{z}_t$ 에 들어 있으므로)은 수학적으로 우아하며, 예측기가 수렴한 뒤에만 공동 학습하는 4단계 설계와 정확히 맞물린다(§3).

셋째, 범용 오디오를 하나의 이산 코드 공간에서 다룬다는 철학 자체다. 확산·플로우 기반 연속 생성이 주류인 시점에서, 음향 렌더러 없이도 TTS·voice design에서 SOTA를 찍었다는 것은 이산 자회귀가 “언어 모델 하나로 모든 오디오를” 이라는 목표에 실용적으로 스케일할 수 있음을 보여준다(§9).

한계와 비판

공정하게 보자면 아쉬운 점도 뚜렷하다.

1. 핵심 스펙 미공개: 백본 LLM의 파라미터 수가 본문에 명시되어 있지 않다. 발표 자체는 기술 보고서이므로 치명적이진 않지만, SOTA 주장을 재현·검증하려는 독자에게는 치명적인 정보 공백이다.
2. 일반 오디오 생성의 정량 근거 부족: 효과음·음악에 대한 LALM/AudioBox 평가 테이블이 본문에서 주석 처리되고 결과가 -- (TODO)로 비어 있다(§7). 즉 “음악·효과음 생성도 강하다"는 주장은 Extensions의 정성 서술에만 의존한다. TTS·voice design에 비해 근거가 크게 약하다.
3. 지나친 주관 평가 의존: TTS를 CER/SS 같은 객관 지표 없이 전적으로 인간 평가로만 검증했다. 인간 유사성이라는 목표에는 타당하지만, 재현성과 리더보드 호환성 측면에서 객관 지표를 병기했다면 더 설득력 있었을 것이다(§7).
4. RL 효과의 검증 부재: GRPO 보상 설계(캡션 일치 × ASR 오류 패널티)는 정교하지만, RL 적용 전후의 정량 개선이 보고되지 않아 실제 효용을 확인할 수 없다(§6).
5. 추론 효율 지표 부재: 저지연 스트리밍을 강조하면서도 TTFT·토큰/초 처리량·메모리 점유 같은 수치가 없다. 실서비스 경쟁력(특히 16-코드북 RVQ 디코딩 + 4층 예측기의 지연)을 가늠할 근거가 없다(§3).
6. 안전·사회적 영향 미흡: 목소리 복제(voice cloning)·딥페이크 음성 등 고품질 TTS/voice design이 갖는 오남용 위험에 대한 논의가 없다.

왜 중요한가

그럼에도 이 연구가 중요한 이유는, “이산 자회귀가 범용 오디오 생성의 실용적 대안” 이라는 주장을 실제로 SOTA 성능으로 입증했다는 점이다. 특히 오디오 LLM이 반드시 부딪히는 망각 문제를 두 채널로 정면 돌파한 레시피(4단계 + detach + 0초기화 Adaptor + 50% 텍스트 리플레이)는 오디오를 넘어 이미지·비디오 등 다른 모달리티를 LLM에 접목하려는 후속 연구에 그대로 이식 가능한 실용적 지침이다.

다음 단계는?: 앞으로의 길

저자들은 결론에서 세 가지 실용적 교훈을 강조한다: 오디오 능력은 간섭을 줄이기 위해 점진적으로 도입하라, 다중 코드북 표현은 경량 RVQ Adaptor로 통합할 수 있다, 이산 자회귀는 연속 렌더러 없이 음성을 넘어 범용 오디오로 스케일할 수 있다(§9).

이 한계들을 고려한 합리적인 다음 단계는 다음과 같다.

• 음악·효과음의 정량 평가 보완: 비워 둔 LALM/AudioBox 결과를 채우고, MusicCaps·AudioCaps 같은 공개 벤치마크에서의 객관 지표를 보고해 “범용” 주장을 뒷받침.
• 객관 지표 병기: 인간 평가와 함께 CER/SS/MOS/생성 다양성 지표를 함께 보고해 재현성을 높이고, TTS에서의 우위가 “표현력"뿐 아니라 “정확도"에서도 유지됨을 보일 것.
• 추론 효율 최적화: 스트리밍 시나리오에서의 실측 지연·처리량을 공개하고, 4층 예측기와 16-코드북 디코딩의 병렬화·경량화를 탐구.
• 확장성 검증: 더 긴 오디오(수 분~전체 곡)로의 스케일링, 그리고 이산 자회귀 접근이 토크나이저 해상도(12.5 Hz → 고해상도)에서 어떻게 확장되는지 분석.
• 책임 있는 공개: voice cloning의 오남용 방지(워터마크, 화자 검증, 안전 가드레일)와 데이터 라이선스·개인정보 처리에 대한 명시.

논문 원문의 표

arXiv e-print 의 LaTeX 원본에서 기계적으로 옮긴 표입니다. 숫자는 논문의 값이며 모델을 거치지 않았습니다.

표 1. Four-stage pretraining recipe. Batch size is measured in tokens per optimizer step, where one temporal LLM step counts as one token. Thus, audio represented at 12.5 Hz contributes 12.5 tokens per second, although each audio token contains 16 RVQ codebook IDs. LR denotes learning rate.

표 2. Comparison of systems with and without the RVQ Adaptor on audio benchmarks after pretraining.

표 3. Comparison of the baseline and our interference-aware progressive pretraining on text benchmarks after pretraining.

표 4. StepAudio 3 Gen style-consistency scores on the full InstructTTSEval benchmark (2,000 texts under three conditions, totaling 6,000 generated utterances). Scores are percentages; higher is better. For each language, AVG is the unweighted mean of APS, DSD, and RP.