[논문리뷰] SageAttention3: Microscaling FP4 Attention for Inference and An Exploration of 8-bit TrainingSageAttention3의 FP4 추론과 SageBwd의 INT8 학습을 구분합니다. 검산한 예시로 양자화 오차, 저장량, 커널과 전체 실행 시간의 차이를 설명합니다. 2025년 7월 9일 3분Transformer Optimization Inference Acceleration
![[논문리뷰] SageAttention3: Microscaling FP4 Attention for Inference and An Exploration of 8-bit Training](/assets/images/papers/2505.11594/figure-2.png)