VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention
논문 링크 VC-Attention: 저비트 어텐션의 남은 두 병목을 푼 Value Smoothing과 Softmax Casting한 줄 요약 (TL;DR): 비디오 DiT의 저비트 어텐션에서 값(value) 양자화 오차와 FP32 softmax를 동시 …
16분
Quantization
FlashAttention
Efficient Inference
Computer Vision
Image Generation
GPU Acceleration