https://jaehun.me/categories/with-deepseek-v4-pro/Recent content in With-Deepseek-V4-Pro on Jaehun's BlogHugoko-krTue, 08 Sep 2026 10:56:16 +0000https://jaehun.me/posts/shallowstream-index-shallow-then-answer-deep-for-streaming-video-understanding/Tue, 08 Sep 2026 00:00:00 +0900https://jaehun.me/posts/shallowstream-index-shallow-then-answer-deep-for-streaming-video-understanding/<p><a href="https://arxiv.org/abs/2609.02780v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="shallowstream-얕게-인덱싱하고-깊게-답하라--스트리밍-비디오-이해의-계산-병목을-푸는-방법">ShallowStream: 얕게 인덱싱하고, 깊게 답하라 — 스트리밍 비디오 이해의 계산 병목을 푸는 방법<a href="#shallowstream-%ec%96%95%ea%b2%8c-%ec%9d%b8%eb%8d%b1%ec%8b%b1%ed%95%98%ea%b3%a0-%ea%b9%8a%ea%b2%8c-%eb%8b%b5%ed%95%98%eb%9d%bc--%ec%8a%a4%ed%8a%b8%eb%a6%ac%eb%b0%8d-%eb%b9%84%eb%94%94%ec%98%a4-%ec%9d%b4%ed%95%b4%ec%9d%98-%ea%b3%84%ec%82%b0-%eb%b3%91%eb%aa%a9%ec%9d%84-%ed%91%b8%eb%8a%94-%eb%b0%a9%eb%b2%95" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p><strong>TL;DR</strong> — 스트리밍 비디오 이해에서 가장 비싼 비용은 매 프레임을 MLLM의 <strong>전체 깊이(28~32개 레이어)</strong> 로 prefill하는 것이다. ShallowStream은 <strong>얕은 레이어 4~5개</strong> 만으로 프레임 인코딩과 검색 인덱스를 동시에 구축하고, <strong>질문이 들어온 순간에만</strong> 검색된 증거에 대해 전체 깊이 연산을 수행한다. 그 결과 SOTA 수준의 성능(OVO-Bench 69.5 / StreamingBench 78.2)을 유지하면서, 프레임당 prefill은 <strong>최대 52.1배</strong>, 10초 구간 엔드투엔드 지연은 <strong>최대 11.9배</strong> 줄였다 (근거: Abstract).</p>https://jaehun.me/posts/unlocking-lossless-speedups-in-llms-via-discrete-diffusion/Tue, 08 Sep 2026 00:00:00 +0900https://jaehun.me/posts/unlocking-lossless-speedups-in-llms-via-discrete-diffusion/<p><a href="https://arxiv.org/abs/2609.04010v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="uno-ar과-diffusion을-하나의-모델에--무손실-병렬-생성을-통한-llm-가속">Uno: AR과 Diffusion을 하나의 모델에 — 무손실 병렬 생성을 통한 LLM 가속<a href="#uno-ar%ea%b3%bc-diffusion%ec%9d%84-%ed%95%98%eb%82%98%ec%9d%98-%eb%aa%a8%eb%8d%b8%ec%97%90--%eb%ac%b4%ec%86%90%ec%8b%a4-%eb%b3%91%eb%a0%ac-%ec%83%9d%ec%84%b1%ec%9d%84-%ed%86%b5%ed%95%9c-llm-%ea%b0%80%ec%86%8d" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p><strong>TL;DR</strong> — LLM이 느린 이유는 next-token prediction(NTP)이 한 번에 토큰 하나씩만 내놓는 순차 구조 때문이다. Uno는 하나의 아키텍처에 <strong>품질을 책임지는 AR 가중치</strong> 와 <strong>속도를 책임지는 경량 LoRA diffusion 가중치</strong> 를 함께 심고, diffusion 경로가 토큰 블록을 병렬로 초안(draft)하면 AR 경로가 rejection sampling으로 검증한다. 별도의 드래프트 모델도, 손실 있는 AR→diffusion 변환도 없이 <strong>AR 분포를 정확히 보존하는(무손실)</strong> 가속을 얻는다. 결과적으로 베이스 AR 모델 대비 <strong>최대 3배</strong>, 가장 큰 배치 크기에서도 <strong>최대 2배</strong> 의 속도 향상을 달성했고, 오픈 d-LLM(26B DiffusionGemma)과 독점 모델(Mercury 2)을 에이전틱·코딩·장문 추론 벤치마크에서 압도했다 (근거: Abstract).</p>https://jaehun.me/posts/beaconkv-key-value-cache-compression-guided-by-beacon-queries-for-efficient-large-reasoning-model-inference/Mon, 07 Sep 2026 00:00:00 +0900https://jaehun.me/posts/beaconkv-key-value-cache-compression-guided-by-beacon-queries-for-efficient-large-reasoning-model-inference/<p><a href="https://arxiv.org/abs/2609.04971v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="모델이-생각을-다시-꺼내-보는-순간을-잡아라-beaconkv가-비콘-쿼리로-추론-kv-캐시를-58배-압축하는-법">모델이 &lsquo;생각을 다시 꺼내 보는&rsquo; 순간을 잡아라: BeaconKV가 비콘 쿼리로 추론 KV 캐시를 5.8배 압축하는 법<a href="#%eb%aa%a8%eb%8d%b8%ec%9d%b4-%ec%83%9d%ea%b0%81%ec%9d%84-%eb%8b%a4%ec%8b%9c-%ea%ba%bc%eb%82%b4-%eb%b3%b4%eb%8a%94-%ec%88%9c%ea%b0%84%ec%9d%84-%ec%9e%a1%ec%95%84%eb%9d%bc-beaconkv%ea%b0%80-%eb%b9%84%ec%bd%98-%ec%bf%bc%eb%a6%ac%eb%a1%9c-%ec%b6%94%eb%a1%a0-kv-%ec%ba%90%ec%8b%9c%eb%a5%bc-58%eb%b0%b0-%ec%95%95%ec%b6%95%ed%95%98%eb%8a%94-%eb%b2%95" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2> <blockquote class="border-primary bg-muted/30 hover:bg-muted/40 my-6 rounded-r-lg border-l-4 py-4 pr-4 pl-6 italic transition-all duration-200 ease-out hover:translate-x-1" > <div class="prose prose-sm max-w-none"> <p><strong>TL;DR</strong> — Large Reasoning Model(LRM)은 긴 Chain-of-Thought(CoT)를 생성할수록 KV 캐시가 선형으로 불어나, Qwen3-4B가 32K 토큰을 배치 크기 16으로 생성하면 KV 캐시만 <strong>77 GB</strong> 를 넘어 80 GB GPU 한계에 닿는다 (근거: §1). 기존 압축 기법들은 <strong>최근 쿼리(recent queries)</strong> 로 미래의 중요 토큰을 예측하는데, 추론 중에는 모델이 <strong>멀리 떨어진 과거 맥락(문제 정의·풀이 계획)을 다시 읽는 Thought Revisiting Token(TRT)</strong> 이라는 현상 때문에 이 가정이 무너진다 (근거: §3). BeaconKV는 TRT를 유발하는 <strong>전역 쿼리(global query)</strong> 가 임베딩 공간에서 소수의 군집을 이룬다는 기하학적 통찰을 바탕으로, 각 군집을 대표하는 <strong>비콘 쿼리(beacon query)</strong> 를 Continual FPS로 온라인 선정해 KV 캐시를 압축한다. 그 결과 <strong>최대 5.8× 메모리 절감(77.0 → 13.3 GB)</strong>, <strong>4.3× 처리량 향상(82.3 → 356.4 tokens/s)</strong> 을 달성하면서, RPC·R-KV 대비 최대 <strong>31.7 pp</strong> 의 정확도 향상을 얻는다 (근거: §5.4, Fig. 8).</p>https://jaehun.me/posts/hardware-aware-fp4-flashattention-4/Mon, 07 Sep 2026 00:00:00 +0900https://jaehun.me/posts/hardware-aware-fp4-flashattention-4/<p><a href="https://arxiv.org/abs/2609.04105v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="fp4-텐서-코어가-빨라도-어텐션은-왜-안-빨라지는가-direct-p와-양자화된-역전파로-푼-blackwell-flashattention-4">FP4 텐서 코어가 빨라도 어텐션은 왜 안 빨라지는가: Direct-P와 양자화된 역전파로 푼 Blackwell FlashAttention-4<a href="#fp4-%ed%85%90%ec%84%9c-%ec%bd%94%ec%96%b4%ea%b0%80-%eb%b9%a8%eb%9d%bc%eb%8f%84-%ec%96%b4%ed%85%90%ec%85%98%ec%9d%80-%ec%99%9c-%ec%95%88-%eb%b9%a8%eb%9d%bc%ec%a7%80%eb%8a%94%ea%b0%80-direct-p%ec%99%80-%ec%96%91%ec%9e%90%ed%99%94%eb%90%9c-%ec%97%ad%ec%a0%84%ed%8c%8c%eb%a1%9c-%ed%91%bc-blackwell-flashattention-4" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p><strong>TL;DR</strong> — Blackwell의 FP4 텐서 코어는 행렬곱을 BF16보다 훨씬 빨리 처리하지만, 어텐션은 <em>행렬곱 두 개</em> 사이에 <strong>softmax</strong> 라는 &ldquo;중간 작업&quot;이 끼어 있어서 그 혜택이 자동으로 전파되지 않는다. 이 논문은 softmax 확률 생성을 <strong>&ldquo;정확한 지수함수 → 반올림&quot;의 순차 경로가 아니라, 점수를 E2M1 코드로 직접 분류하는 문제</strong>로 재정의한 <strong>Direct-P</strong> 로 임계 경로(critical path)를 줄여, NVIDIA GB200에서 BF16 대비 <strong>최대 2.13배</strong> 의 forward 처리량을 달성한다(근거: §Abstract). 나아가 학습에서는 forward가 만들어둔 양자화 상태를 backward가 그대로 재사용해 8B 모델 한 스텝을 <strong>최대 1.14배</strong> 가속하지만, P/V를 MXFP4로 내리면 <strong>모든 궤적이 발산</strong>하여 FP8로 남겨야 함을 보여준다(근거: §7.6).</p>https://jaehun.me/posts/language-models-can-control-their-own-attention/Mon, 07 Sep 2026 00:00:00 +0900https://jaehun.me/posts/language-models-can-control-their-own-attention/<p><a href="https://arxiv.org/abs/2609.02737v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="언어-모델이-스스로-어텐션을-통제한다-declarative-attention">언어 모델이 스스로 어텐션을 통제한다: Declarative Attention<a href="#%ec%96%b8%ec%96%b4-%eb%aa%a8%eb%8d%b8%ec%9d%b4-%ec%8a%a4%ec%8a%a4%eb%a1%9c-%ec%96%b4%ed%85%90%ec%85%98%ec%9d%84-%ed%86%b5%ec%a0%9c%ed%95%9c%eb%8b%a4-declarative-attention" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p><strong>TL;DR</strong> — 기존의 희소 어텐션(sparse attention)은 매 디코딩 스텝마다 어떤 토큰이 중요한지 <em>외부에서 근사</em> 하느라 여전히 $O(N)$ 비용을 지불했다. 이 논문은 방향을 틀어, 모델이 Chain-of-Thought(CoT) 안에서 자신이 <strong>어디를 볼지 직접 &ldquo;선언&rdquo;</strong> 하게 한다. 추론 엔진은 이 선언을 도구 호출(tool call)처럼 파싱해 KV 캐시 읽기를 대부분 생략한다. 학습 없이(zero-shot) Gemma-4-31B에서 디코딩 어텐션 비용 <strong>52.0%</strong> 절감, 정확도 하락은 <strong>1.27pp</strong> 에 불과하다 (근거: §1, §5.1).</p>https://jaehun.me/posts/same-request-different-answer-quantization-amplifies-cache-induced-divergence-in-llm-serving/Mon, 07 Sep 2026 00:00:00 +0900https://jaehun.me/posts/same-request-different-answer-quantization-amplifies-cache-induced-divergence-in-llm-serving/<p><a href="https://arxiv.org/abs/2609.04748v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="같은-요청-다른-답-프리픽스-캐시가-서빙을-비재현적으로-만들고-양자화가-이를-증폭시킨다">같은 요청, 다른 답: 프리픽스 캐시가 서빙을 비재현적으로 만들고, 양자화가 이를 증폭시킨다<a href="#%ea%b0%99%ec%9d%80-%ec%9a%94%ec%b2%ad-%eb%8b%a4%eb%a5%b8-%eb%8b%b5-%ed%94%84%eb%a6%ac%ed%94%bd%ec%8a%a4-%ec%ba%90%ec%8b%9c%ea%b0%80-%ec%84%9c%eb%b9%99%ec%9d%84-%eb%b9%84%ec%9e%ac%ed%98%84%ec%a0%81%ec%9c%bc%eb%a1%9c-%eb%a7%8c%eb%93%a4%ea%b3%a0-%ec%96%91%ec%9e%90%ed%99%94%ea%b0%80-%ec%9d%b4%eb%a5%bc-%ec%a6%9d%ed%8f%ad%ec%8b%9c%ed%82%a8%eb%8b%a4" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2> <blockquote class="border-primary bg-muted/30 hover:bg-muted/40 my-6 rounded-r-lg border-l-4 py-4 pr-4 pl-6 italic transition-all duration-200 ease-out hover:translate-x-1" > <div class="prose prose-sm max-w-none"> <p><strong>TL;DR</strong> — 프리픽스 캐시는 &ldquo;투명한 최적화&quot;로 여겨지지만 투명하지 않다. 캐시를 끄면 동일 워크로드의 반복 실행이 <strong>10개 설정 × 80에피소드 = 800개 전부 비트 단위로 동일</strong> 하게 재현되는 반면 (근거: Tab. 2), 캐시를 켜면 에이전트의 궤적이 <strong>16비트에서 36.2%, 4비트 양자화에서 75.0%</strong> 나 바뀐다 (근거: §IV-D). 그런데 평균 정확도는 움직이지 않는다 — 이것은 &ldquo;열화(degradation)&ldquo;가 아니라 &ldquo;불안정성(instability)&ldquo;이며, 둘은 다른 대응을 요구한다 (근거: §IV-F, §V).</p>https://jaehun.me/posts/sgd-kv-summarization-guided-kv-cache-compression/Mon, 07 Sep 2026 00:00:00 +0900https://jaehun.me/posts/sgd-kv-summarization-guided-kv-cache-compression/<p><a href="https://arxiv.org/abs/2609.03235v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="sgd-kv-요약을-잘하는-헤드를-찾아-1m-토큰의-kv-캐시를-75까지-줄인다">SGD-KV: &lsquo;요약을 잘하는 헤드&rsquo;를 찾아 1M 토큰의 KV 캐시를 75%까지 줄인다<a href="#sgd-kv-%ec%9a%94%ec%95%bd%ec%9d%84-%ec%9e%98%ed%95%98%eb%8a%94-%ed%97%a4%eb%93%9c%eb%a5%bc-%ec%b0%be%ec%95%84-1m-%ed%86%a0%ed%81%b0%ec%9d%98-kv-%ec%ba%90%ec%8b%9c%eb%a5%bc-75%ea%b9%8c%ec%a7%80-%ec%a4%84%ec%9d%b8%eb%8b%a4" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2> <blockquote class="border-primary bg-muted/30 hover:bg-muted/40 my-6 rounded-r-lg border-l-4 py-4 pr-4 pl-6 italic transition-all duration-200 ease-out hover:translate-x-1" > <div class="prose prose-sm max-w-none"> <p><strong>TL;DR</strong> — 어텐션 헤드는 모두 같은 일을 하지 않는다. &lsquo;요약&rsquo;이라는 고차원 정보 압축을 담당하는 <strong>summarization heads</strong> 를 진단 태스크로 찾아내고, 그 점수에 비례해 KV 캐시 예산을 나눠주는 <strong>SGD-KV</strong> 가 최대 100만(1M) 토큰 컨텍스트에서 KV 캐시 메모리를 최대 <strong>75%</strong> 줄이면서도 기존 헤드 단위 압축 기법들을 압도한다.</p>https://jaehun.me/posts/smelt-scaling-laws-for-compute-matched-moe-looped-transformers/Mon, 07 Sep 2026 00:00:00 +0900https://jaehun.me/posts/smelt-scaling-laws-for-compute-matched-moe-looped-transformers/<p><a href="https://arxiv.org/abs/2609.01343"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="smelt-계산량을-맞춘-moe-루프-트랜스포머의-스케일링-법칙">SMELT: 계산량을 맞춘 MoE 루프 트랜스포머의 스케일링 법칙<a href="#smelt-%ea%b3%84%ec%82%b0%eb%9f%89%ec%9d%84-%eb%a7%9e%ec%b6%98-moe-%eb%a3%a8%ed%94%84-%ed%8a%b8%eb%9e%9c%ec%8a%a4%ed%8f%ac%eb%a8%b8%ec%9d%98-%ec%8a%a4%ec%bc%80%ec%9d%bc%eb%a7%81-%eb%b2%95%ec%b9%99" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><h2 id="한-줄-요약-tldr">한 줄 요약 (TL;DR)<a href="#%ed%95%9c-%ec%a4%84-%ec%9a%94%ec%95%bd-tldr" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p>루프 트랜스포머는 레이어 블록을 반복 실행해 깊이를 늘리지만, 기존 연구는 대부분 <strong>파라미터 수만 고정</strong>한 채 FLOPs를 늘려 &ldquo;공짜 점수&quot;를 얻고 있었다. SMELT는 <strong>per-token FLOPs·총 파라미터·KV 캐시</strong> 세 예산을 동시에 맞추고도 루핑이 순수한 아키텍처 이득임을 증명한다(근거: §1). 그 결과 compute-optimal 프론티어에서 <strong>6.8~18.0%의 학습 FLOPs</strong>를 절약하고, 이 이득은 검증 손실이 예측하는 것보다 다운스트림에서 더 크게 나타난다(근거: §4.3, §5.1).</p>https://jaehun.me/posts/why-gated-deltanet-survives-4-bit-quantization-nvfp4-w4a4-for-the-recurrent-half-of-a-hybrid-27b-llm/Mon, 07 Sep 2026 00:00:00 +0900https://jaehun.me/posts/why-gated-deltanet-survives-4-bit-quantization-nvfp4-w4a4-for-the-recurrent-half-of-a-hybrid-27b-llm/<p><a href="https://arxiv.org/abs/2609.04098"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="순환-절반은-양자화하기-쉬운-절반이다-gated-deltanet이-4비트에서-살아남는-이유">순환 절반은 양자화하기 쉬운 절반이다: Gated DeltaNet이 4비트에서 살아남는 이유<a href="#%ec%88%9c%ed%99%98-%ec%a0%88%eb%b0%98%ec%9d%80-%ec%96%91%ec%9e%90%ed%99%94%ed%95%98%ea%b8%b0-%ec%89%ac%ec%9a%b4-%ec%a0%88%eb%b0%98%ec%9d%b4%eb%8b%a4-gated-deltanet%ec%9d%b4-4%eb%b9%84%ed%8a%b8%ec%97%90%ec%84%9c-%ec%82%b4%ec%95%84%eb%82%a8%eb%8a%94-%ec%9d%b4%ec%9c%a0" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p><strong>TL;DR</strong> — 하이브리드 27B LLM(Qwen3.8-27B)의 순환 레이어인 <strong>Gated DeltaNet(GDN)</strong> 48개 층은 그동안 &ldquo;오차가 문맥을 타고 누적된다&quot;는 직관 때문에 8<del>16비트로 보호되어 왔다. 이 논문은 그 직관이 <strong>거꾸로</strong>임을 보인다. GDN 게이트를 포함한 <strong>496개 전 레이어를 NVFP4 W4A4로 양자화한 <code>Minima</code></strong> 는 6개 벤치마크에서 BF16과 시드 노이즈 내 차이(5-task 평균 −0.52)로 일치하면서도, 가장 작고(17.5 GiB) 가장 빠른 프리필(+14</del>19%)을 기록했다. 그리고 4단계 메커니즘 연구로 <strong>왜</strong> 그런지 — 블록 스케일링이 이상치를 국소화하고, 게이트 비선형성이 노이즈를 압축하며, 델타 룰이 상태 오차를 능동적으로 지운다는 — 아키텍처 차원의 설명까지 제시한다.</p>