X-AuT: 행동 프로브와 크로스스케일 증류로 음성 LLM의 오디오 인코더를 깎아내는 방법
한 줄 요약 (TL;DR)
음성 LLM의 오디오 인코더(오디오 Transformer)를 18→16→14 레이어로 점진적으로 프루닝 하면서, 짧은 행동 프로브(behavioral probe) 로 회복 가능한 레이어 조합을 고르고 크로스스케일 증류(1.7B teacher → 0.6B student) 와 3단계 회복으로 손실을 복구하는 프레임워크 X-AuT 를 제안한다. 14레이어 모델은 오디오 타워 파라미터를 20.7% 줄이면서 매크로 오류율을 5.75% (baseline 5.61%)로 거의 유지했고, 16레이어 모델은 오히려 5.27% 로 기준선을 능가했다 (근거: Abstract, §1).
핵심 아이디어
음성 LLM(예: Qwen3-ASR)은 깊은 오디오 인코더가 모든 입력 프레임을 처리한 뒤, 브리지(bridge)가 음향 특징을 디코더 임베딩 공간에 매핑하고, 자기회귀 텍스트 디코더가 전사를 생성한다 (근거: §1). 인코더 깊이는 스트리밍·모바일·차량 내 시스템의 first-token latency 에 직접 기여하므로, 완전한 Transformer 블록을 통째로 제거해 규칙적인 배포용 모델을 만드는 것이 매력적이다 (근거: §1).
그런데 단순히 레이어를 제거하면 디코더가 받는 오디오 임베딩이 흔들린다. 저자들은 이것이 조기 EOS(premature end-of-sequence) 예측과 대량 삭제(deletion) 오류로 이어진다고 관찰한다 (근거: §1, Appx). 그래서 X-AuT의 핵심 주장은 다음 두 가지로 요약된다 (근거: §1, §3):
- 선택과 회복은 분리할 수 없다. 고립 상태에서 불필요해 보이는 레이어가, 다른 레이어가 제거되면 중요해질 수 있다(후속 블록이 이동된 표현을 받기 때문). 따라서 정적 중요도 점수(static importance score) 만으로는 다중 레이어 후보가 짧은 예산 안에 회복 가능한지 예측할 수 없다 (근거: §1).
- 회복은 숨은 상태 불일치(hidden-state mismatch)와 학생의 자기 디코딩 이력이 만드는 오류 둘 다 다뤄야 한다 (근거: §1).
배경: 그들이 해결한 문제
ASR 압축은 지금까지 아키텍처의 서로 다른 부위를 공략해 왔다. Distil-Whisper는 주로 디코더를 줄이고 인코더를 유지했고, LiteASR는 저랭크 분해 + 증류, 구조적 스파스성은 가중치/헤드를 제거했다. LayerDrop과 Dynamic Encoder Size는 훈련 중에 가변 깊이를 견디도록 학습하거나 수퍼넷을 학습시킨다 (근거: §2). 하지만 이들은 훈련 중에 압축을 도입 하거나 기존 블록 안에서 연산을 줄이는 방식이었다.
가장 가까운 선행 연구는 Kolluri et al.로, LLM 기반 SLAM-ASR에서 Whisper 인코더 레이어를 프루닝하고 LoRA로 회복했다 (근거: §2). X-AuT는 여기서 한 걸음 더 나아가, 회복 가능성(recoverability)을 개별 레이어에 부여된 가산 점수가 아니라 “레이어 조합의 성질"로 취급 한다 (근거: §2).
연구 공백. 이미 사전학습된 음성 LLM에 대해 두 가지 실용 질문이 남아 있었다 (근거: §1):
- 고정된 훈련 예산 아래에서 어떤 레이어 조합을 제거하고도 회복 가능한가?
- 회복은 숨은 상태 불일치 와 학생 자신의 디코딩 이력이 유발하는 오류 를 어떻게 함께 다뤄야 하는가?
새로운 접근법: X-AuT
X-AuT는 전사 일치 필터링 → 행동 프로브 → 점진적 프루닝 → 3단계 회복 의 흐름을 따른다 (근거: Fig. 2).
1) 아키텍처와 목적
입력 파형 $\mathbf{x}$ 는 $N$ 레이어 오디오 인코더 $E_\theta$ 와 브리지 $B_\phi$ 를 거쳐 오디오 임베딩 $\mathbf{e}=B_\phi(E_\theta(\mathbf{x}))$ 가 된다. Qwen3-ASR는 이 임베딩을 토큰 시퀀스의 오디오 플레이스홀더 위치 에 넣고, 인과적 LM 디코더 $D_\psi$ 가 tied 출력 투영 $H_\omega$ 를 통해 전사 토큰을 예측한다 — 별도의 디코더 크로스어텐션 모듈이 아니라 입력 임베딩 조건화 방식이다 (근거: §3.1). 프루닝은 순서 있는 부분집합 $\mathcal{I}\subset\{1,\dots,N\}$ 을 남겨 목표 깊이에서 총 텍스트 오류율(TER)을 최소화한다 (근거: §3.1):
$D_\psi$ 의 사전학습 가중치는 동결 되고, q/k/v/o 어텐션 투영에 붙인 rank-32 LoRA 와 tied 출력 임베딩 $H_\omega$ 만 학습 가능하다 (근거: §3.1).2) 전사 일치 필터링
훈련 풀은 280k 시간이 넘는 이종 코퍼스(AISHELL, CommonVoice, Emilia, GigaSpeech, LibriSpeech, WenetSpeech, 차량용 음성 등)를 합친 것이다 (근거: §4.2). 각 발화에 대해 두 개의 강한 ASR 시스템(Qwen3-ASR-1.7B, Qwen3.5-Omni)이 오프라인 전사(hypothesis)를 생성 하고, 원본 전사와 두 가설 사이의 쌍별 편집률(CER/WER)을 계산한다 (근거: §3.2). 최대 불일치 $e_{\mathrm{max}}$ 를 기준으로 9단계 일치 계층(class 1~9)을 매기고, 실험은 가장 일치도가 높은 class 1 데이터 만 사용한다 (근거: §3.2, Tab. 데이터 계층).
3) 행동 기반 점진적 프루닝
프루닝은 두 번의 홉(18→16→14) 으로 진행된다. 첫 홉은 원래 레이어 $\{1,18\}$ 을 제거한다. 두 번째 홉에서는 모든 후보가 동일하게 회복된 16레이어 체크포인트에서 출발 하고, 동일한 0.3에폭 LoRA 웜업 후 각 단일 레이어 제거와 레이어 쌍 제거를 5개 개발 벤치마크의 총 TER 로 평가한다 (근거: §3.3). 정적 점수보다 비싸지만, 가용 예산 하에서의 실제 제거 후 행동을 직접 측정 한다 (근거: §3.3).
왜 쌍 프로브가 필요한가? 여러 레이어를 제거한 뒤의 회복은 단일 레이어 점수로부터 신뢰성 있게 예측할 수 없기 때문 이다 (근거: §3.3, §5.4).
4) 3단계 회복
각 홉은 동일한 3단계 레시피를 쓴다. 학생은 프루닝된 Qwen3-ASR-0.6B, 교사는 24레이어 오디오 타워 를 가진 Qwen3-ASR-1.7B이며 교사 파라미터는 동결되고 추론 시 버려진다 (근거: §3.4).
- Stage 0 (표현 정렬, 5%): 중간 레이어·브리지 표현 손실(MSE + 코사인 거리)과 로짓 KD, 전사 CE를 결합한다 (근거: §3.4):
교사와 학생의 숨은 폭이 2048 vs 1024로 다르므로, 256차원 병목을 가진 2레이어 MLP 가 교사 은닉·브리지 특징을 학생 공간으로 투영하고, 교사 레이어를 $M$ 개 그룹으로 균등 분할해 학생 레이어 $m$ 이 그룹 $m$ 의 마지막 교사 레이어에 정렬된다 (근거: §3.4).
- Stage 1 (스케줄드 학생 정책 증류, 95%): 중간 레이어 손실을 끄고, 브리지 정렬 + teacher-forced 로짓 KD + 골드 CE로 진행한다 (근거: §3.4). 20% 경과 후 매 5번째 옵티마이저 스텝마다 학생이 greedy로 prefix를 생성 하고, 학생·교사가 같은 생성 컨텍스트에서 평가되어 top-
$k$(512) 지지집합 합집합 위에서 분포를 비교한다. 조기 EOS를 막기 위해min_new_tokens=3, duration-aware 최대 256토큰 제한, 퇴화 롤아웃 거부 필터를 두고, 배치의 절반 이상이 거부되면 teacher-forced로 폴백한다 (근거: §3.4). - Stage 2 (LoRA 파인튜닝, 1에폭): Stage 1 최적 체크포인트에서 시작해 골드 CE만 최적화하고 tied head는 동결한다. class 1 데이터를 유지하되 타깃 도메인(차량·AISHELL-4/5) 쪽으로 소스 가중치를 재조정 한다 (근거: §3.4).
작동 원리: 구체적인 예시로 살펴보기
전체 회복 흐름을 한 줄로 정리하면 아래와 같다 (근거: Fig. 2).
flowchart LR A["사전학습된 0.6B 음성 LLM"] --> B["행동 프로브: 레이어 조합 선택"] B --> C["점진적 프루닝 18→16→14"] C --> D["Stage 0: 표현 정렬"] D --> E["Stage 1: 크로스스케일 증류"] E --> F["Stage 2: LoRA 파인튜닝"] F --> G["배포용 압축 모델"]
“레이어 쌍의 상호작용"이 왜 핵심인지 수치로 보자. 16→14 홉에서 개별 제거 스윕 결과, 단일 제거로는 L6(6.29%)가 가장 강했고 그 다음 L5(6.42%), L8(6.52%)이었다 (근거: §5.4). 그렇다면 “가장 강한 두 단일 제거"를 합친 $\{6,8\}$ 이 가장 좋을 것 같지만, 실제로는 그렇지 않다:
| 후보 | 유형 | TER |
|---|---|---|
$\{5,6\}$ | 인접 | 6.93% |
$\{6,7\}$ | 인접 | 7.37% |
$\{8,9\}$ | 인접 | 7.75% |
$\{6,8\}$ | 비인접 | 7.78% |
$\{3,6\}$ | 비인접 | 8.12% |
$\{14,15\}$ | 인접 | 9.93% |
$\{6,8\}$ 은 두 최강 단일 제거를 합쳤음에도 $\{5,6\}$ 보다 0.85pp 나 나쁘다 (근거: §5.4, Tab. 쌍 프로브). 저자들은 “상호작용 페널티(쌍 TER − 구성 단일 제거 평균 TER)“를 정의하는데, $\{6,8\}$ 이 1.38pp로 $\{5,6\}$ 의 0.58pp보다 훨씬 크다 (근거: §5.4). 하나의 잠정 설명은 연속된 서브블록 제거는 잔차 스트림에 단절을 한 번만 만들지만, 분산 제거는 두 번 만든다 는 것 — 다만 저자들도 “검증되지 않은 설명"이라고 명시한다 (근거: Appx).
조기 EOS는 실제로 심각한 문제다. 2×2 ablation에서, 아무 조치도 안 한 구성(A)은 100스텝 창 중 5개에서 빈 롤아웃(빈 전사)이 발생했고, tied head를 학습 가능하게 하고 min_new_tokens=3 게이팅을 함께 켠 구성(D)은 빈 이벤트가 0이 되며 최적 TER도 6.86%→6.75% 로 개선됐다 (근거: Appx, Tab. EOS ablation). 게이팅은 대신 퇴화 롤아웃을 늘려 거부 필터를 2113~2162회 트리거하지만, 이는 teacher-forced 폴백으로 흡수된다 (근거: Appx).
성능 검증: 주요 결과
평가는 AISHELL-1, Fleurs zh/en, LibriSpeech test-clean/other, THCHS-30, Tedlium, CommonVoice v15 zh/en, WenetSpeech-meeting의 10개 공개 벤치마크 에서 CER/WER로 이뤄지고, 매크로 평균은 벤치마크를 발화 수가 아니라 동일 가중치 로 합친다 (근거: §4.3).
16레이어: 기준선을 능가. 매크로 오류율이 5.61% → 5.27% 로 6.1% 상대 감소 했고, AISHELL-1, CommonVoice zh/en, WenetSpeech-meeting 4개에서 개선됐다. 가장 큰 이득은 CommonVoice en(−1.85pp), CommonVoice zh(−1.83pp), WenetSpeech-meeting(−1.30pp)이었다 (근거: §5.1, Tab. main_full).
14레이어: 20.7% 파라미터 절감. 오디오 타워가 186.376M → 147.794M 파라미터(각 블록 9.645M × 4개 제거)로 줄고, 매크로 오류율은 5.75% 로 기준선 대비 +0.14pp에 그쳤다 (근거: §5.1, Tab. main_full_14). CommonVoice zh는 오히려 +1.59pp 개선됐지만, Fleurs-en에서 −0.93pp로 가장 큰 손실이 발생했다 (근거: §5.1).
교사 스케일이 결정적이다. 동일 레시피에서 교사만 바꾼 통제 실험: 1.7B 교사를 쓴 크로스스케일은 5.55%, 자기 증류(0.6B 교사)는 8.45% 로 무려 2.9pp 차이가 났다. 자기 교사는 10개 벤치마크 전부에서 기준선보다 나빠졌고(+50.6%), 크로스스케일은 CommonVoice zh/en·AISHELL-1에서 기준선을 앞질렀다 (근거: §5.3, Tab. teacher_scale).
점진적 프루닝이 직접 프루닝을 이긴다. 같은 레이어 $\{1,18,5,6\}$ 을 제거하되 한 번에 18→14로 가는 직접 방식은 6.73%, 두 홉으로 나눈 점진 방식은 5.75% (근거: §5.3, Tab. ablation_direct).
훈련 궤적. Stage 0에서 TER가 10.88%(step 500) → 7.80%(step 2500)으로 급락하고, Stage 1에서 5.76%(step 47000)까지 떨어진 뒤, Stage 2가 추가로 0.40pp를 깎아 5.36%(step 28000)에 도달한다 (근거: §5.2).
추론 효율. 14레이어 모델은 인코더 시간을 차량용 PPU에서 −21.4%(14→11ms), H800에서 −11.4%(88→78ms) 줄였다. 다만 end-to-end는 각각 −4.7%, −2.6%에 그치는데, 자기회귀 디코딩이 총 시간을 지배하기 때문이다 (근거: §5.6, Tab. efficiency).
우리의 관점: 강점, 한계, 그리고 이 연구가 중요한 이유
강점. 가장 설득력 있는 부분은 “선택과 회복을 분리하지 말라” 는 실증이다. 정적 중요도 점수로는 포착할 수 없는 레이어 쌍의 비가산적 상호작용($\{6,8\}$ < $\{5,6\}$)과, 점진적 프루닝이 직접 프루닝을 이긴 결과는 회복 가능성은 조합과 스케줄의 함수 라는 주장을 직접 뒷받침한다 (근거: §5.3, §5.4). 또한 자기 증류 대신 크로스스케일 교사를 쓰는 것만으로 8.45%→5.55%가 되는 대비는, “강한 교사의 음향 지식 전이"가 단순한 복원 이상임을 보여준다 (근거: §5.3). 파라미터를 정확히 세서 보고(186.376M, 9.645M/블록)한 점도 투명하다 (근거: §4.1).
한계. 저자들이 정직하게 밝히듯, 주 결과는 seed 42의 단일 러닝 이고 반복 시드·신뢰구간·유의성 검정이 없다 (근거: §6). 따라서 14레이어의 +0.14pp 차이는 “기술적 관찰(descriptive observation)“일 뿐 통계적으로 유의미하다고 할 수 없다. 체크포인트 선택도 벤치마크당 25발화로 잘라낸 고정 개발 서브셋에 의존해 선택 노이즈 가 존재한다 (근거: §6). 실험 범위도 단일 모델 계열(Qwen3-ASR)과 제한된 프루닝 후보 에 국한되며, 데이터 계층도 9단계 중 class 1만 썼다 (근거: §6). 또 오디오 타워만 압축 했기 때문에 end-to-end 지연 개선은 −2.6~−4.7%에 그쳐, “인코더·디코더가 파이프라인으로 분리된 배포"에서만 실질적 이득이 크다 (근거: §6, §5.6).
왜 중요한가. 온디바이스·차량용 음성 LLM에서 first-token latency를 결정하는 인코더 깊이를, 사전학습 모델을 버리지 않고 줄일 수 있다는 것은 실용 가치가 크다. 더 넓게 보면, “프루닝 후 회복 가능성을 조합 단위로 직접 측정하라"는 X-AuT의 방법론은 음성 LLM을 넘어, 사전학습 인코더-디코더를 압축하는 모든 파이프라인에 재사용 가능한 원칙 이다. 표현 불일치(Stage 0)와 자기 디코딩 이력의 오류(Stage 1)를 분리해 다루는 3단계 설계도 깔끔한 공학적 분해다.
다음 단계는?: 앞으로의 길
저자들이 열어둔 직접적 후속은 명확하다. 첫째, 다중 모델 계열(Whisper, Qwen2-Audio 등)과 더 넓은 레이어 조합·데이터 혼합 으로 레시피의 일반화를 검증하는 것 (근거: §6). 둘째, 반복 시드·부트스트랩 신뢰구간 으로 단일 러닝의 노이즈를 해소하는 것 — 특히 14레이어의 +0.14pp 같은 미세한 차이를 해석하려면 필수다 (근거: §6).
합리적인 다음 단계로는 (1) 레이어 쌍 상호작용에 대한 인과적 활성화 분석 과 더 큰 요인(factorial) 후보 집합으로 “왜 분산 제거가 더 해로운가"를 기계적으로 규명하는 것 (근거: Appx), (2) 인코더·디코더를 파이프라인 병렬로 묶어 end-to-end 지연 에서도 인코더 절감분을 온전히 살리는 배포 연구 (근거: §5.6), (3) class 1 고정을 넘어 9단계 일치 계층을 활용한 커리큘럼/재가중 전략 탐색이 자연스럽게 이어진다. 궁극적으로는 “더 깊게 프루닝해도 표현 정렬이 용량 손실을 대체할 수 없는 지점"이 어디인지 정량화하는 것이 이 연구가 남긴 열린 질문이다 (근거: §6).
논문 원문의 표
arXiv e-print 의 LaTeX 원본에서 기계적으로 옮긴 표입니다. 숫자는 논문의 값이며 모델을 거치지 않았습니다.
표 1. Nine-tier transcript-consistency hierarchy. Threshold bands use $e_{\mathrm{max}}$, the maximum pairwise edit rate. The tiers measure transcript agreement rather than ground-truth quality.
| Tier | Agreement band | Assignment rule |
|---|---|---|
| 1 | Full agreement | Both model hypotheses exactly match the source transcript. |
| 2 | Partial exact | At least one of the three text pairs matches exactly (i.e., at least two candidates agree). |
| 3 | Homophone | For Mandarin, at least one source–hypothesis pair has zero pinyin CER. |
| 4 | $0| The consistency vote passes and $e_{\mathrm{max}}$ falls in the indicated interval. | |
| 5 | $5\%| Same voting rule with a small transcript discrepancy. | |
| 6 | $10\%| Same voting rule with a moderate discrepancy. | |
| 7 | $20\%| Same voting rule with a relatively large discrepancy. | |
| 8 | $30\%| Same voting rule with a large discrepancy. | |
| 9 | Failure / $e_{\mathrm{max}}>50\%$ | The vote fails, $e_{\mathrm{max}}>50\%$, or an aligned hypothesis is empty. |
표 2. Full-suite error rates for the 16-layer model. S1 is the Stage 1 best checkpoint and S2 is the finetuned checkpoint. Mean is the unweighted macro average. Relative mean-error change is $(\bar e/\bar e_{\rm base}-1)\times100\%$; negative is better. Bold marks the best observed value, not statistical significance.
| Benchmark | Base (18L) | Prune-16 S1 | Prune-16 S2 |
|---|---|---|---|
| AuT parameters | 186.4M | 167.1M | 167.1M |
| AISHELL-1 (CER) | 3.33% | 3.30% | 3.21% |
| Fleurs-zh (CER) | 2.80% | 3.35% | 3.28% |
| Fleurs-en (WER) | 4.17% | 4.28% | 4.23% |
| LibriSpeech test-clean (WER) | 2.48% | 2.73% | 2.65% |
| THCHS-30 (CER) | 3.87% | 4.10% | 4.06% |
| Tedlium (WER) | 3.35% | 3.92% | 3.79% |
| LibriSpeech test-other (WER) | 5.39% | 5.90% | 5.79% |
| CommonVoice v15 zh (CER) | 9.95% | 8.56% | 8.12% |
| CommonVoice v15 en (WER) | 12.35% | 10.74% | 10.50% |
| WenetSpeech-meeting (CER) | 8.36% | 8.62% | 7.06% |
| Macro mean (%) | 5.61 | 5.55 | 5.27 |
| Relative mean-error change (%) | – | $-1.1$ | $-6.1$ |
표 3. Full-suite error rates for the 14-layer model. The 147.8M audio tower has 20.7% fewer parameters than the 186.4M baseline. Formatting and reporting conventions follow Table .
| Benchmark | Base (18L) | Prune-14 S1 | Prune-14 S2 |
|---|---|---|---|
| AuT parameters | 186.4M | 147.8M | 147.8M |
| AISHELL-1 (CER) | 3.33% | 3.52% | 3.39% |
| Fleurs-zh (CER) | 2.80% | 3.49% | 3.32% |
| Fleurs-en (WER) | 4.17% | 5.24% | 5.10% |
| LibriSpeech test-clean (WER) | 2.48% | 3.09% | 2.45% |
| THCHS-30 (CER) | 3.87% | 4.23% | 4.17% |
| Tedlium (WER) | 3.35% | 4.07% | 3.95% |
| LibriSpeech test-other (WER) | 5.39% | 7.00% | 5.52% |
| CommonVoice v15 zh (CER) | 9.95% | 9.54% | 8.36% |
| CommonVoice v15 en (WER) | 12.35% | 13.94% | 12.49% |
| WenetSpeech-meeting (CER) | 8.36% | 10.71% | 8.78% |
| Macro mean (%) | 5.61 | 6.48 | 5.75 |
| Relative mean-error change (%) | – | $+15.5$ | $+2.5$ |
표 4. Main 16-layer hyperparameters. The 14-layer run uses the same recipe and initializes from the recovered 16-layer checkpoint.
| Parameter | Stage 0 | Stage 1 | Stage 2 |
|---|---|---|---|
| Fraction / epochs | 0.05 epoch | 0.95 epoch | 1 epoch |
| LR (audio tower) | $2\times10^{-5}$ | $2\times10^{-5}$ | $5\times10^{-6}$ |
| LR (LoRA / tied head) | $10^{-4}/10^{-4}$ | $10^{-4}/10^{-4}$ | $5\times10^{-6}$/frozen |
| Optimizer / weight decay | AdamW / 0.01 | AdamW / 0.01 | AdamW / 0.01 |
| Per-device batch / accumulation | 8 / 2 | 8 / 2 | 8 / 2 |
| Global batch size | 512 | 512 | 512 |
| LoRA $r/\alpha$/dropout | 32 / 64 / 0.05 | 32 / 64 / 0.05 | 32 / 64 / 0.05 |
| Temperature | 1.5 | 1.0 | – |
| $\lambda_{\rm layer}$ | 1.0 | 0.0 | – |
| $\lambda_{\rm bridge}$ | 1.0 | 0.5 | – |
| $\lambda_{\rm logit}$ | 0.2 | 0.1 | – |
| $\lambda_{\rm ce}$ | 0.5 | 1.0 | 1.0 |
| On-policy start / fraction | – | 0.2 / 0.2 | – |
| Union top-$k$ / weight mode | – | 512 / none | – |
| Minimum / maximum new tokens | – | 3 / 256 | – |
| Reject-batch threshold | – | 0.5 | – |
표 5. Premature-EOS safeguards on prune-16 in a 2$\times$2 ablation. All configurations share the same Stage 0 checkpoint and Stage 1 recipe. Empty events count 100-step windows with at least one empty rollout; rejections sum budget, length, and repetition filters. TER is the best development-suite observation.
| Configuration | lm_head | min_new | Empty events | TER | Rejections |
|---|---|---|---|---|---|
| A: neither | frozen | 0 | 5 | 6.86 | 20 |
| B: lm_head | trainable | 0 | 3 | 6.83 | 11 |
| C: gating | frozen | 3 | 0 | 6.97 | 2113 |
| D: both | trainable | 3 | 0 | 6.75 | 2162 |
표 6. Teacher-scale comparison for the 16-layer Stage 1 student. Schedules, data, and optimization are matched; cross-scale training additionally uses the required hidden-width projections. Values are single-run best-checkpoint results.
| Benchmark | Base (18L) | Self-teacher | Cross-scale |
|---|---|---|---|
| AISHELL-1 (CER) | 3.33% | 4.29% | 3.30% |
| Fleurs-zh (CER) | 2.80% | 4.17% | 3.35% |
| Fleurs-en (WER) | 4.17% | 6.15% | 4.28% |
| LibriSpeech test-clean (WER) | 2.48% | 6.00% | 2.73% |
| THCHS-30 (CER) | 3.87% | 5.23% | 4.10% |
| Tedlium (WER) | 3.35% | 11.28% | 3.92% |
| LibriSpeech test-other (WER) | 5.39% | 9.89% | 5.90% |
| CommonVoice v15 zh (CER) | 9.95% | 11.71% | 8.56% |
| CommonVoice v15 en (WER) | 12.35% | 14.89% | 10.74% |
| WenetSpeech-meeting (CER) | 8.36% | 10.85% | 8.62% |
| Macro mean (%) | 5.61 | 8.45 | 5.55 |
| Relative mean-error change (%) | – | $+50.6$ | $-1.1$ |
표 7. Pair probes for 16$\rightarrow$14 pruning after the same 0.3-epoch warm-up. TER is the macro mean over five development subsets, including proprietary SC. $\Delta$ is relative to $\{5,6\}$. Bold marks the best observed candidate.
| Candidate | Type | TER | $\Delta$ | AISHELL | CV-en | Fleurs-en | Wenet / SC |
|---|---|---|---|---|---|---|---|
| $\{5,6\}$ | Adj. | 6.93 | – | 0.63 | 16.97 | 6.85 | 7.30 / 2.91 |
| $\{6,7\}$ | Adj. | 7.37 | +0.44 | 0.63 | 16.06 | 6.48 | 8.47 / 5.23 |
| $\{8,9\}$ | Adj. | 7.75 | +0.82 | 0.63 | 23.39 | 5.37 | 6.42 / 2.91 |
| $\{6,8\}$ | Non-adj. | 7.78 | +0.85 | 0.63 | 20.64 | 6.11 | 8.03 / 3.49 |
| $\{3,6\}$ | Non-adj. | 8.12 | +1.19 | 0.63 | 17.89 | 6.48 | 8.03 / 7.56 |
| $\{14,15\}$ | Adj. | 9.93 | +3.00 | 0.95 | 23.39 | 11.48 | 8.61 / 5.23 |
표 8. Direct 18$\rightarrow$14 pruning versus progressive 18$\rightarrow$16$\rightarrow$14 pruning. Both remove $\{1,18,5,6\}$ and use the same recovery/data budget. Single-run best-checkpoint results; bold marks the best observed value.
| Benchmark | Base | Direct 18$\rightarrow$14 | Progressive |
|---|---|---|---|
| AISHELL-1 (CER) | 3.33% | 3.81% | 3.39% |
| Fleurs-zh (CER) | 2.80% | 3.76% | 3.32% |
| Fleurs-en (WER) | 4.17% | 5.94% | 5.10% |
| LibriSpeech test-clean (WER) | 2.48% | 3.42% | 2.45% |
| THCHS-30 (CER) | 3.87% | 4.62% | 4.17% |
| Tedlium (WER) | 3.35% | 5.10% | 3.95% |
| LibriSpeech test-other (WER) | 5.39% | 6.31% | 5.52% |
| CommonVoice v15 zh (CER) | 9.95% | 9.79% | 8.36% |
| CommonVoice v15 en (WER) | 12.35% | 15.22% | 12.49% |
| WenetSpeech-meeting (CER) | 8.36% | 9.29% | 8.78% |
| Macro mean (%) | 5.61 | 6.73 | 5.75 |
이 글의 그림은 arXiv:2609.11412 원본에서 가져왔습니다 (CC BY 4.0). 크기와 형식만 바꿨습니다.
댓글