FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
들어가며 Blackwell GPU는 FP8·FP4 행렬곱을 BF16보다 각각 2배·4배 빠르게 처리한다. 그 속도를 어텐션에 쓰려면, 정밀도 손실보다 "양자화한 값이 앞·뒤 계산에서 똑같이 복원되는가"가 먼저 해결되어야 한다. FLAMIA는 이 조건을 낮은 비트 어텐션 커널 안에서 설계해,…
Attention-Kernels
5페이지
FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention
FlashMask-3의 Hopper 커널과 마스크 국소화, 부하 균형, 통신 중첩을 분석하고 장문 훈련 실험의 조건과 한계를 짚습니다.
MC-Sparse: 확산 모델의 희소 어텐션이 느려지는 세 가지 이유
MC-Sparse가 DiT의 희소 어텐션에서 품질과 속도 손실을 분리하는 방법을 살펴봅니다. 토큰 선택뿐 아니라 커널 실행 비용을 함께 줄여야 하는 이유를 정리합니다.
MassAlloc Attention: Let Attention Allocate Its Own Compute
MassAlloc Attention(MALA): 어텐션이 스스로 연산을 배분하게 하다 TL;DR — 풀 소프트맥스 어텐션(FullAttn)은 매 causal 타일마다 QK 점수 생성 이후 의 연산(post-score)을 전부 수행하지만, MALA는 어텐션이 스스로 만든 정규화 기여도(normalized…
VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention
VC-Attention은 비디오 Diffusion Transformer의 저비트 어텐션에서 값 양자화 오차와 softmax 병목을 함께 줄여 B200에서 어텐션을 최대 1.59배 가속한 학습-프리 커널이다.