Hardware-Aware FP4 FlashAttention-4

Mon, 07 Sep 2026 00:00:00 +0900

논문 링크

FP4 텐서 코어가 빨라도 어텐션은 왜 안 빨라지는가: Direct-P와 양자화된 역전파로 푼 Blackwell FlashAttention-4

TL;DR — Blackwell의 FP4 텐서 코어는 행렬곱을 BF16보다 훨씬 빨리 처리하지만, 어텐션은 행렬곱 두 개 사이에 softmax 라는 “중간 작업"이 끼어 있어서 그 혜택이 자동으로 전파되지 않는다. 이 논문은 softmax 확률 생성을 “정확한 지수함수 → 반올림"의 순차 경로가 아니라, 점수를 E2M1 코드로 직접 분류하는 문제로 재정의한 Direct-P 로 임계 경로(critical path)를 줄여, NVIDIA GB200에서 BF16 대비 최대 2.13배 의 forward 처리량을 달성한다(근거: §Abstract). 나아가 학습에서는 forward가 만들어둔 양자화 상태를 backward가 그대로 재사용해 8B 모델 한 스텝을 최대 1.14배 가속하지만, P/V를 MXFP4로 내리면 모든 궤적이 발산하여 FP8로 남겨야 함을 보여준다(근거: §7.6).

2609.04105v1 on Jaehun's Blog

Hardware-Aware FP4 FlashAttention-4

FP4 텐서 코어가 빨라도 어텐션은 왜 안 빨라지는가: Direct-P와 양자화된 역전파로 푼 Blackwell FlashAttention-4