Quantization on Jaehun's Blog

Hardware-Aware FP4 FlashAttention-4

Mon, 07 Sep 2026 00:00:00 +0900

논문 링크

FP4 텐서 코어가 빨라도 어텐션은 왜 안 빨라지는가: Direct-P와 양자화된 역전파로 푼 Blackwell FlashAttention-4

TL;DR — Blackwell의 FP4 텐서 코어는 행렬곱을 BF16보다 훨씬 빨리 처리하지만, 어텐션은 행렬곱 두 개 사이에 softmax 라는 “중간 작업"이 끼어 있어서 그 혜택이 자동으로 전파되지 않는다. 이 논문은 softmax 확률 생성을 “정확한 지수함수 → 반올림"의 순차 경로가 아니라, 점수를 E2M1 코드로 직접 분류하는 문제로 재정의한 Direct-P 로 임계 경로(critical path)를 줄여, NVIDIA GB200에서 BF16 대비 최대 2.13배 의 forward 처리량을 달성한다(근거: §Abstract). 나아가 학습에서는 forward가 만들어둔 양자화 상태를 backward가 그대로 재사용해 8B 모델 한 스텝을 최대 1.14배 가속하지만, P/V를 MXFP4로 내리면 모든 궤적이 발산하여 FP8로 남겨야 함을 보여준다(근거: §7.6).

Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM

Mon, 07 Sep 2026 00:00:00 +0900

논문 링크

순환 절반은 양자화하기 쉬운 절반이다: Gated DeltaNet이 4비트에서 살아남는 이유

TL;DR — 하이브리드 27B LLM(Qwen3.8-27B)의 순환 레이어인 Gated DeltaNet(GDN) 48개 층은 그동안 “오차가 문맥을 타고 누적된다"는 직관 때문에 8~16비트로 보호되어 왔다. 이 논문은 그 직관이 거꾸로임을 보인다. GDN 게이트를 포함한 496개 전 레이어를 NVFP4 W4A4로 양자화한 Minima 는 6개 벤치마크에서 BF16과 시드 노이즈 내 차이(5-task 평균 −0.52)로 일치하면서도, 가장 작고(17.5 GiB) 가장 빠른 프리필(+14~19%)을 기록했다. 그리고 4단계 메커니즘 연구로 왜 그런지 — 블록 스케일링이 이상치를 국소화하고, 게이트 비선형성이 노이즈를 압축하며, 델타 룰이 상태 오차를 능동적으로 지운다는 — 아키텍처 차원의 설명까지 제시한다.