The KV Cache Is the New Memory Wall
KV 캐시가 새로운 메모리 월(Memory Wall)이다: 장문맥 LLM 추론의 세 영역과 다섯 도메인 TL;DR — 장문맥 LLM의 디코드(decode) 추론은 산술 연산이 아니라 메모리 대역폭에 묶이며, 문맥 길이가 계산 가능한 특정 "크로스오버(crossover)" 지점을 넘어서면 병목이 모델 가중…
Hardware Architecture
17페이지
SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture
SPECTRA: 추론 단계가 바뀔 때마다 하드웨어도 옷을 갈아입는 재구성 가능 LLM 가속기 한 줄 요약 (TL;DR) 스펙큘레이티브 디코딩은 프리필(연산 바운드 GEMM)·디코드(메모리 바운드 GEMV)·그 사이의 병렬 검증을 오가며 산술 강도 가 토큰마다 출렁인다. 고정 데이터패스로는 이 세 체제를…
The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction
SSD에 산 MoE를 깨우다: 24 GB 데스크톱에서 35B MoE를 20 tok/s로 서빙하는 Edge0 한 줄 요약 (TL;DR) 35B급 MoE는 4-bit로도 19.5 GB 를 차지해 24 GB 머신에 상주하지 못한다 (근거: §1). Edge0는 엑스퍼트 가중치를 SSD에 두고 mmap 스트리밍…
Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures
DeepSeek-V3 논문 심층 분석: 확장성 문제 해결 및 AI 하드웨어 아키텍처에 대한 성찰 DeepSeek-AI에서 발표한 "DeepSeek-V3: 확장성 문제 해결 및 AI 하드웨어 아키텍처에 대한 성찰" 논문은 대규모 언어 모델(LLM)의 급격한 확장에 따른 현재 하드웨어 아키텍처의 한계를 분석…
Duplex: A Device for Large Language Models with Mixture of Experts, Grouped Query Attention, and Continuous Batching
📌 결론 요약 논문 "Duplex: A Device for Large Language Models with Mixture of Experts, Grouped Query Attention, and Continuous Batching"은 저연산량(Op/B)이 지배적인 MoE 및 GQA 기반 LLM 추론을 위…
LeanAttention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers
논문 『LeanAttention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers』에 대한 상세한 분석을 다음과 같이 제시합니다. ✅ 결론 (요약) 이 논문은 Transformer 모델의 디코딩 단계에서 긴…
TurboAttention: Efficient Attention Approximation for High Throughputs LLMs
논문 『TurboAttention: Efficient Attention Approximation for High Throughputs LLMs』는 기존의 Attention 연산의 속도와 메모리 효율성을 동시에 개선한 통합적인 접근 방법을 제안하고 있으며, 이는 두 가지 핵심 알고리즘인 FlashQ와…
A Hardware Evaluation Framework for Large Language Model Inference
논문의 강점 및 독창적인 지점 빠르고 정확한 하드웨어 평가 프레임워크 (LLMCompass) 제공 기존의 Roofline 모델이 빠르지만 부정확하고, 사이클 수준의 시뮬레이션이 정확하지만 느린 단점을 보완. 평균 10.4%의 연산자 오류율과 LLM 추론에 대한 4.1%의 오류율을 기록하며 빠른 평가 가능…
Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
Mooncake: A KVCache-Centric Disaggregated Architecture for LLM Serving 강점과 독창적인 지점 KVCache 중심의 분리 아키텍처: Mooncake는 LLM의 prefill과 decoding 단계를 분리하여 GPU, CPU, DRAM, SSD의 리소스…
Infinite-LLM: Efficient LLM Service for Long Context with DistAttention and Distributed KVCache
논문 요약 Infinite-LLM은 초대형 언어 모델(LLM)의 동적 컨텍스트 길이 문제를 해결하기 위해 제안된 효율적인 서비스 시스템입니다. 논문은 특히 DistAttention 메커니즘과 Distributed KVCache를 도입해 LLM 요청 서비스의 확장성을 획기적으로 개선합니다. 이를 통해 긴…
FlightLLM: Efficient Large Language Model Inference with a Complete Mapping Flow on FPGAs
논문 요약 및 분석 제목: FlightLLM: Efficient Large Language Model Inference with a Complete Mapping Flow on FPGAs 주제: FPGA 기반 대형 언어 모델(LLM) 추론을 위한 효율적 아키텍처 핵심 결론 및 강점 결론 요약…
FP6-LLM: Efficiently Serving Large Language Models Through FP6-Centric Algorithm-System Co-Design
논문의 강점과 독창적인 지점 FP6 기반의 효율적인 양자화 지원: 논문은 FP6(6-bit 부동소수점) 양자화의 중요성을 부각하며, 기존 4-bit 또는 8-bit 양자화보다 품질과 성능 간의 우수한 균형을 제공한다고 주장합니다. 이는 LLaMA-70B 모델과 같은 대규모 언어 모델에서 특히 두드러집니다…
Benchmarking and Dissecting the Nvidia Hopper GPU Architecture
논문의 주요 내용 요약 이 논문은 Nvidia Hopper GPU 아키텍처에 대한 심층적인 벤치마킹과 분석을 수행했습니다. 특히 Hopper 아키텍처의 다음 세 가지 주요 특징을 다루었습니다: Tensor Core의 새로운 명령 세트(wgmma): FP8, TF32와 같은 새로운 데이터 유형과 비동기식…
COMET Towards Partical W4A4KV4 LLMs Serving
논문 "COMET: Towards Practical W4A4KV4 LLMs Serving"는 대형 언어 모델(LLMs)을 효과적으로 배포하기 위해 양자화(quantization) 기법을 활용하여 GPU 성능을 최적화하는 방법을 제안합니다. 특히 INT4 텐서 코어를 활용해 모델의 메모리 사용량과 계산 효…
DynamoLLM Designing LLM Inference Clusters for Performance and Energy Efficiency
논문 분석: "DynamoLLM: Designing LLM Inference Clusters for Performance and Energy Efficiency" 1. 논문의 강점 및 독창적인 지점 강점: 에너지 효율적인 LLM 인프라: 이 논문은 대규모 LLM 추론 클러스터에서 에너지 소비를 최적화하고…
Efficient Generative LLM Inference Using Phase Splitting
논문 "Splitwise: Efficient Generative LLM Inference Using Phase Splitting"는 대형 언어 모델(LLM)의 추론을 효율적으로 수행하기 위해서 추론 단계를 분리하는 Splitwise라는 기법을 제안합니다. 이 논문은 주로 대형 모델의 추론 요청 시 발생하…
Keyformer KV Cache Reduction through Key Tokens Selection for Efficient Generative Inference
Keyformer의 고정 KV 예산, 최근 윈도우를 제외한 핵심 토큰 선택, Gumbel 점수 누적과 온도, 위치 보존 및 배치별 성능 조건을 원문으로 검토한다.