Analytical Power-Aware Provisioning for Prefill-Decode Disaggregated AI Inference
PD 분리 LLM 추론에서 prefill·decode 인스턴스 수와 KV-cache 예약을 함께 모델링해, 요구 용량을 가장 낮은 전력으로 만족하는 배치를 찾는 해석적 프로비저닝 방법을 소개한다.
Performance
11페이지
FLEX ATTENTION: A PROGRAMMING MODEL FOR GENERATING OPTIMIZED ATTENTION KERNELS
📌 논문 요약 및 분석 (FlexAttention: A Programming Model for Generating Optimized Attention Kernels) ✅ 논문의 강점 및 독창적인 지점 유연성 (Flexibility) 기존의 FlashAttention과 달리, FlexAttention은 다…
QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving
논문의 강점과 독창적인 지점 1. 강점 저비트 정량화(Quantization)의 실용적 개선: 기존 INT4 정량화 기법들이 클라우드 기반 LLM 서빙에서 성능 개선을 보이지 못하는 문제를 해결. QoQ(W4A8KV4) 알고리즘 제안: 4비트 가중치(W4), 8비트 활성화(A8), 4비트 KV 캐시…
ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression
논문 요약: ClusterKV: Semantic Space에서 KV Cache를 관리하는 효율적인 압축 기법 주요 강점과 독창적인 점 • 효율성과 정확성의 균형: • 기존 방식인 “비-회수 가능 KV 압축” 및 “페이지 단위 회수”는 정확성 및 자원 효율성을 저하시켰으나, ClusterKV는 토큰의 의미…
Efficient LLM Inference with I/O-Aware Partial KV Cache Recomputation
논문의 핵심 요약 이 논문은 대형 언어 모델(LLM) 추론 시 CPU-GPU 간의 데이터 전송 병목 현상을 해결하기 위해 I/O를 고려한 부분 KV 캐시 재계산 기법을 제안합니다. 기존의 GPU 메모리 부족 문제를 CPU 메모리로 오프로드하여 해결하려는 접근법의 단점을 보완하며, GPU 계산과 PCIe…
SparseInfer: Training-free Prediction of Activation Sparsity for Fast LLM Inference
논문의 강점과 독창성 강점 학습 없이 활성화 희소성 예측: • SparseInfer는 기존 방법들이 필요로 했던 추가적인 학습 없이 활성화 희소성을 예측할 수 있습니다. 이는 모델이 변경되거나 양자화 수준이 달라져도 유연하게 적용 가능하다는 점에서 효율적입니다. 컴퓨팅 및 메모리 효율성: • 기존…
DeepSpeed-FastGen: High-throughput Text Generation for LLMs via MII and DeepSpeed-Inference
요약 논문의 제목: DeepSpeed-FastGen: High-throughput Text Generation for LLMs via MII and DeepSpeed-Inference 핵심 기여: Dynamic SplitFuse라는 새로운 방법론을 통해 긴 프롬프트 처리와 텍스트 생성 작업을 동적으로 결…
KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache
강점과 독창성 효율적이고 튜닝이 필요 없는 2비트 양자화 알고리즘: KIVI는 LLM의 키-값 캐시(KV Cache)를 튜닝 없이 2비트로 양자화하여 최대 2.6배 메모리 감소와 최대 3.47배 처리량 증가를 달성합니다. 기존 연구와 달리 키 캐시는 채널별로, 값 캐시는 토큰별로 양자화하는 새로운 방식을…
ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching
논문 요약: ALISA: 대규모 언어 모델 추론 가속화를 위한 희소성 기반 KV 캐싱 이 논문은 대규모 언어 모델(LLM)의 추론 속도를 개선하기 위해 ALISA라는 새로운 알고리즘-시스템 공동 설계 방안을 제시합니다. 특히, GPU 메모리가 제한된 환경에서 LLM 추론 효율을 극대화하기 위한 다양한 방…
FASTDECODE: High-Throughput GPU-Efficient LLM Serving using Heterogeneous Pipelines
논문의 강점과 독창적인 지점 이 논문은 대규모 언어 모델(LLM) 서빙을 위해 FASTDECODE라는 새로운 시스템을 제안합니다. 주요 강점과 독창성은 다음과 같습니다: 메모리-계산 분리 아키텍처: LLM의 중요한 구성요소인 KV-Cache를 GPU가 아닌 CPU에서 처리하도록 설계했습니다. CPU는 메…
FlexGen High-Throughput Generative Inference of Large Language Models with a Single GPU
FlexGen의 GPU 배치 간 가중치 재사용, 처리량 중심 정책 탐색, CPU attention과 4-bit 압축의 제약 및 단일 GPU 실험 조건을 원문으로 검토한다.