![[논문 리뷰] Hardware-Efficient Attention for Fast Decoding](https://moonlight-paper-snapshot.s3.ap-northeast-2.amazonaws.com/arxiv/hardware-efficient-attention-for-fast-decoding-1.png)
[논문 리뷰] Hardware-Efficient Attention for Fast Decoding
GTA & GLA: 디코딩의 ‘메모리-지배’를 깨는 하드웨어 효율 어텐션 TL;DR GTA(키·값 타이잉)와 GLA(잠재 헤드 샤딩) 으로 FLOPs/byte를 끌어올리고 per-GPU KV 캐시를 줄여, 품질 손실 없이 커널 1.2–2× 가속, 서빙 지연 대폭↓, 처리량 최대 2×↑ 를 달성한다. (근…
Compiler and Systems
1페이지