https://jaehun.me/tags/2609.04098/Recent content in 2609.04098 on Jaehun's BlogHugoko-krTue, 08 Sep 2026 13:42:29 +0000https://jaehun.me/posts/why-gated-deltanet-survives-4-bit-quantization-nvfp4-w4a4-for-the-recurrent-half-of-a-hybrid-27b-llm/Mon, 07 Sep 2026 00:00:00 +0900https://jaehun.me/posts/why-gated-deltanet-survives-4-bit-quantization-nvfp4-w4a4-for-the-recurrent-half-of-a-hybrid-27b-llm/<p><a href="https://arxiv.org/abs/2609.04098"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="순환-절반은-양자화하기-쉬운-절반이다-gated-deltanet이-4비트에서-살아남는-이유">순환 절반은 양자화하기 쉬운 절반이다: Gated DeltaNet이 4비트에서 살아남는 이유<a href="#%ec%88%9c%ed%99%98-%ec%a0%88%eb%b0%98%ec%9d%80-%ec%96%91%ec%9e%90%ed%99%94%ed%95%98%ea%b8%b0-%ec%89%ac%ec%9a%b4-%ec%a0%88%eb%b0%98%ec%9d%b4%eb%8b%a4-gated-deltanet%ec%9d%b4-4%eb%b9%84%ed%8a%b8%ec%97%90%ec%84%9c-%ec%82%b4%ec%95%84%eb%82%a8%eb%8a%94-%ec%9d%b4%ec%9c%a0" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p><strong>TL;DR</strong> — 하이브리드 27B LLM(Qwen3.8-27B)의 순환 레이어인 <strong>Gated DeltaNet(GDN)</strong> 48개 층은 그동안 &ldquo;오차가 문맥을 타고 누적된다&quot;는 직관 때문에 8<del>16비트로 보호되어 왔다. 이 논문은 그 직관이 <strong>거꾸로</strong>임을 보인다. GDN 게이트를 포함한 <strong>496개 전 레이어를 NVFP4 W4A4로 양자화한 <code>Minima</code></strong> 는 6개 벤치마크에서 BF16과 시드 노이즈 내 차이(5-task 평균 −0.52)로 일치하면서도, 가장 작고(17.5 GiB) 가장 빠른 프리필(+14</del>19%)을 기록했다. 그리고 4단계 메커니즘 연구로 <strong>왜</strong> 그런지 — 블록 스케일링이 이상치를 국소화하고, 게이트 비선형성이 노이즈를 압축하며, 델타 룰이 상태 오차를 능동적으로 지운다는 — 아키텍처 차원의 설명까지 제시한다.</p>