Hardware-Aware FP4 FlashAttention-4
논문 링크 FP4 텐서 코어가 빨라도 어텐션은 왜 안 빨라지는가: Direct-P와 양자화된 역전파로 푼 Blackwell FlashAttention-4TL;DR — Blackwell의 FP4 텐서 코어는 행렬곱을 BF16보다 훨씬 빨리 처리하지만, …
24분
FlashAttention
Machine Learning
FlashAttention
6페이지
![[논문리뷰] Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality](https://icml.cc/media/PosterPDFs/ICML%202024/32613.png)
[논문리뷰] Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
논문 링크 같은 논문을 2024-12-24 에도 한 번 더 정리해 두었다. Structured State Space Duality: Mamba-2로 본 SSM↔Attention 통일과 2–8× 가속한 줄 요약 (TL;DR)SSD(Structured …
44분
Mamba
SSM
Transformer
Long Context
Efficient Training
FlashAttention
GPU Acceleration
![[논문리뷰] Llama-Nemotron: Efficient Reasoning Models](https://cdn-thumbnails.huggingface.co/social-thumbnails/collections/nvidia/llama-nemotron-67d92346030a2691293f200b.png)
[논문리뷰] Llama-Nemotron: Efficient Reasoning Models
논문 링크 Hydragen: 공유 프리픽스가 있는 대규모 배치를 32 × 빠르게 디코딩하는 비밀 병기한 줄 요약 (TL;DR)Softmax 분모 재스케일링으로 프리픽스-서픽스를 분해해 Code-Llama-13 B 기준 vLLM보다 최대 32배 빠르게, …
29분
Prefix Caching
Efficient Inference
Attention Optimization
FlashAttention
vLLM
![[논문리뷰] Helix Parallelism: Rethinking Sharding Strategies for Interactive Multi-Million-Token LLM Decoding](https://www.storagereview.com/wp-content/uploads/2025/07/image2-2-png-e1752234784623.webp)
[논문리뷰] Helix Parallelism: Rethinking Sharding Strategies for Interactive Multi-Million-Token LLM Decoding
논문 링크 Helix Parallelism: 초장기 LLM 디코딩의 지연-처리량 벽을 깨다한 줄 요약 (TL;DR)Helix Parallelism은 Attention과 FFN을 서로 다른 병렬화 전략으로 스케줄링해 KV 캐시 중복과 FFN 가중치 로드 …
35분
Tensor Parallelism
Mixture of Experts
FlashAttention
Long Context Inference
Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
논문 링크 Native Sparse Attention (NSA) — 64 k 토큰도 11× 빠르게, 정확도는 그대로한 줄 요약 (TL;DR)NSA는 ‘압축 → 선택 → 슬라이딩’ 3 분기 희소 어텐션과 GQA/MQA-친화 커널을 결합해 64 k 컨텍스 …
34분
Long Context
Transformer Optimization
GPU Acceleration
FlashAttention
Memory Efficiency
DeepSeek
KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction
논문 링크 ⚡️TL;DRKVzip는 LLM의 KV 캐시를 한 번 압축해도 이후 모든 질의 · 세션에서 재사용할 수 있도록 설계된 query-agnostic 캐시 컴프레서다. 그 결과 정확도 손실 ≤ 3 pp를 유지하면서 레이턴시 2 × ↓, 메모리 …
27분
KV Cache
Long Context
FlashAttention
LLM
Large Language Models