Speculative Sampling in Interactive Video Generation
큰 청크로 만든 미래 영상을 재사용하면서 출력은 작은 단위로 확정합니다. 투기적 샘플링이 반응 지연을 줄이는 원리와 재계산 비용, 실제 서빙 실험의 조건을 살펴봅니다.
Distributed Computing
한 장의 GPU 를 넘어가는 순간 생기는 문제들을 다룬 글들입니다. 자주 겹치는 축:
- 단계를 쪼개기 — 프리필과 디코드를 분리해 간섭을 줄이기
- 파이프라인 — 그래프 단위 파이프라인 병렬, 이기종 GPU 위의 최대 흐름 배치
- 통신을 감추기 — 커널 융합으로 통신과 연산을 겹치기
- 스케줄링과 비용 — 처리량-지연 절충, 선점형 인스턴스, 에너지 효율
63페이지
FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention
FlashMask-3의 Hopper 커널과 마스크 국소화, 부하 균형, 통신 중첩을 분석하고 장문 훈련 실험의 조건과 한계를 짚습니다.
Who Pays for the KV Cache? Attributing Shared AI Inference Spend Across Kubernetes and LLM Provider Bills
KV 캐시 비용은 누가 내는가? — 쿠버네티스·게이트웨이·프로바이더 청구서를 하나의 장부로 TL;DR — 같은 AI 기능 한 건에 드는 비용은 쿠버네티스 할당, 게이트웨이 로그, 프로바이더의 토큰 단위 청구서라는 서로 연결되지 않은 세 장부에 흩어져 있다. 저자는 이 세 장부를 하나의 Decimal-정확…
Analytical Power-Aware Provisioning for Prefill-Decode Disaggregated AI Inference
PD 분리 LLM 추론에서 prefill·decode 인스턴스 수와 KV-cache 예약을 함께 모델링해, 요구 용량을 가장 낮은 전력으로 만족하는 배치를 찾는 해석적 프로비저닝 방법을 소개한다.
Miles v0.1: Production-Level Post-Training
Miles v0.1: 프론티어 RL 사후학습을 위한 "검증·청결·확장 가능"한 풀스택 시스템 TL;DR : Miles는 rolluout 생성과 트레이닝이 서로 다른 엔진·커널·정밀도로 돌아가며 발생하는 train-rollout mismatch를 시스템 차원에서 해결하는 풀스택 RL 사후학습 프레임워크다.…
Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training
대규모·장문맥 RL 사후학습에서 Speculative Decoding을 실용화하는 두 가지 설계 TL;DR : RL 사후학습의 벽-클록 시간을 지배하는 롤아웃 생성을 speculative decoding으로 가속하고, 여기에 온라인 드래프트 공동학습(co-training) 을 더해 정책이 진화해도 드래프…
PRIMA.CPP: Speeding Up 70B-Scale LLM Inference on Low-Resource Everyday Home Clusters
가정용 기기로 700억 매개변수 LLM을 구동하다: prima.cpp 논문 심층 리뷰 최근 대규모 언어 모델(LLM)의 발전은 놀랍지만, 대부분의 강력한 모델은 막대한 자원을 갖춘 클라우드 데이터센터에서만 접근 가능했습니다. GPT-4, Claude 3.5와 같은 모델을 개인 기기에서 사용하는 것은 먼…
Accelerating MoE Model Inference with Expert Sharding
제공해주신 논문 "Accelerating MoE Model Inference with Expert Sharding" (MOESHARD)에 대한 자세한 분석은 다음과 같습니다. 이 논문은 Mixture of Experts (MoE) 모델의 추론 속도를 높이기 위한 새로운 시스템인 MOESHARD를 제안합니…
Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures
DeepSeek-V3 논문 심층 분석: 확장성 문제 해결 및 AI 하드웨어 아키텍처에 대한 성찰 DeepSeek-AI에서 발표한 "DeepSeek-V3: 확장성 문제 해결 및 AI 하드웨어 아키텍처에 대한 성찰" 논문은 대규모 언어 모델(LLM)의 급격한 확장에 따른 현재 하드웨어 아키텍처의 한계를 분석…
Seesaw: High-throughput LLM Inference via Model Re-sharding
📌 결론 요약 논문 ‘Seesaw: High-throughput LLM Inference via Model Re-sharding’은 LLM의 두 주요 단계인 prefill과 decode에서 병렬화 전략을 동적으로 변경하는 ‘model re-sharding’ 기법을 제안하여, 평균 1.36배, 최대…
Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts
논문 "Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts"는 MoE 모델의 핵심 병목인 GPU 간 통신 지연을 fine-grained 수준에서 컴퓨팅과 통신을 정교하게 겹치도록 설계함으로써 실행 성능을 크게 개…
MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism
📌 결론 요약 (핵심 기여 및 성능) MegaScale-Infer는 대규모 Mixture-of-Experts (MoE) 모델 서빙을 위한 효율적 시스템으로, Attention과 FFN 모듈을 분리(disaggregate) 하여 GPU 활용률을 극대화하고 최대 1.9×의 GPU throughput 개선 및…
AIOpsLab: A Holistic Framework to Evaluate AI Agents for Enabling Autonomous Clouds
논문 『AIOpsLab: A Holistic Framework to Evaluate AI Agents for Enabling Autonomous Clouds』를 매우 상세히 분석한 결과, 다음과 같은 핵심 사항과 독창적 특징을 확인할 수 있었습니다. 📌 요약된 결론 (핵심 강점 및 독창성)…
NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference
📌 논문 제목: NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference 📌 저자: Xuanlin Jiang, Yang Zhou, Shiyi Cao, Ion Stoica, Minlan Yu 1. 결론 요약 (강점 & 독창적인 지…
PipeFill: Using GPUs During Bubbles in Pipeline-parallel LLM Training
논문『PipeFill: Using GPUs During Bubbles in Pipeline-parallel LLM Training』의 핵심 내용을 상세히 분석하여, 논문의 강점, 독창적인 지점, 핵심 알고리즘의 전체적인 과정 및 한계점을 요약하였습니다. 📌 결론 (요약) 『PipeFill』은 파이프라인…
On Distributed Larger-Than-Memory Subset Selection With Pairwise Submodular Functions
✅ 결론 요약 이 논문은 "메모리 용량을 초과하는 대규모 데이터셋에서 대표적인 subset을 효율적으로 선택"하는 문제를 다룬다. 기존 방법들은 중앙 서버가 전체 subset을 메모리에 올릴 수 있어야 한다는 제약이 있었지만, 이 논문은 중앙 서버 없이도 분산 환경에서 고품질 subset을 선택할 수 있…
TRAINING ULTRA LONG CONTEXT LANGUAGE MODEL WITH FULLY PIPELINED DISTRIBUTED TRANSFORMER
✅ 결론 요약 이 논문은 초장문(long-context) LLM을 저렴한 하드웨어(예: 4 GPU) 상에서 효율적으로 훈련할 수 있게 하는 FPDT (Fully Pipelined Distributed Transformer) 구조를 제안함. 기존 대비 최대 16배 더 긴 시퀀스(예: 2M tokens)를…
Venn: Resource Management Across Federated Learning Jobs
논문의 강점과 독창적인 지점 이 논문은 연합 학습(Federated Learning, FL)의 리소스 관리 문제를 다루며, 특히 다수의 FL 작업이 동일한 디바이스 풀에서 실행될 때 발생하는 자원 경쟁(Resource Contention) 을 해결하는 Venn이라는 새로운 리소스 관리 시스템을 제안합니다…
AI Metropolis: Scaling Large Language Model-based Multi-Agent Simulation with Out-of-order Execution
논문『AI Metropolis: Scaling Large Language Model-based Multi-Agent Simulation with Out-of-order Execution』의 주요 강점과 독창적인 지점, 핵심 알고리즘 및 한계점을 압축하여 설명하면 다음과 같습니다. 📌 결론 (요약) 강점…
Balancing Pipeline Parallelism with Vocabulary Parallelism
논문의 핵심 내용을 요약하면 다음과 같습니다. 결론 요약 이 논문은 파이프라인 병렬화(Pipeline Parallelism, PP)를 사용하는 Transformer 모델 학습 시, 입력 및 출력 Embedding 레이어의 연산과 메모리 불균형 문제를 해결하기 위한 ‘Vocabulary…
DIFFSERVE: EFFICIENTLY SERVING TEXT-TO-IMAGE DIFFUSION MODELS WITH QUERY-AWARE MODEL SCALING
논문의 핵심 요약 및 기여 DIFFSERVE는 query-aware model scaling 개념을 도입하여 Text-to-Image Diffusion Model의 효율적인 서빙을 가능하게 하는 시스템이다. 기존 서빙 시스템이 모든 요청에 대해 동일한 크기의 모델을 사용하는 반면, DIFFSERVE는 입…
Marconi: Prefix Caching for the Era of Hybrid LLMs
논문의 핵심 요약 및 평가 논문 제목: Marconi: Prefix Caching for the Era of Hybrid LLMs 핵심 기여: Marconi는 Hybrid LLM(Attention + State Space Model, SSM)에서 효율적인 Prefix Caching을 지원하는 최초의 시스…
LAVA: LIFETIME-AWARE VM ALLOCATION WITH LEARNED DISTRIBUTIONS AND ADAPTATION TO MISPREDICTIONS
논문의 강점과 독창성 강점 기존 VM 스케줄링 방식보다 높은 효율성 기존의 One-shot 예측 방식(예: Lifetime Alignment, LA)보다 높은 정확도를 가지는 재예측(Reprediction) 기법을 활용. 예측 오류를 지속적으로 수정하여 리소스 활용도를 향상함. 실 서비스(Google의…
A PRACTICAL CROSS-LAYER APPROACH FOR ML-DRIVEN STORAGE PLACEMENT IN WAREHOUSE-SCALE COMPUTERS
논문의 강점 및 독창적인 지점 이 논문은 대규모 데이터 센터에서 기계 학습(ML)을 활용한 저장소 배치(Storage Placement) 문제를 다루며, 기존 접근법의 한계를 극복하기 위해 크로스-레이어(Cross-Layer) 접근 방식을 제안했다. 주요 강점과 독창적인 점은 다음과 같다. 기존 단일 계…
Scaling Deep Learning Training with MPMD Pipeline Parallelism
본 논문은 JaxPP라는 시스템을 제안하여, 기존의 Single-Program Multiple-Data (SPMD) 방식의 한계를 극복하고 Multiple-Program Multiple-Data (MPMD) 파이프라인 병렬화를 통해 대규모 딥러닝 모델 학습의 확장성과 성능을 향상한 연구이다. 특히,…
LSERVE: EFFICIENT LONG-SEQUENCE LLM SERVING WITH UNIFIED SPARSE ATTENTION
논문의 핵심 내용을 먼저 간략히 요약한 후, 강점과 독창적인 지점을 자세히 설명하고, 핵심 알고리즘의 동작 원리를 예시와 함께 제시한 뒤, 논문의 한계점을 마지막으로 정리하겠습니다. 🔑 논문의 핵심 내용 요약 이 논문은 긴 시퀀스를 처리하는 Large Language Model(LLM) 서빙 시스템에서…
ThunderServe: High-performance and Cost-efficient LLM Serving in Cloud Environments
논문 『ThunderServe: High-performance and Cost-efficient LLM Serving in Cloud Environments』를 상세히 분석하여 다음과 같은 내용을 압축적으로 정리하였다. 📌 논문의 결론 요약 이 논문은 클라우드 환경에서 다양한 유형의 GPU를 사용하여…
HEXGEN-2: DISAGGREGATED GENERATIVE INFERENCE OF LLMS IN HETEROGENEOUS ENVIRONMENT
논문의 핵심 요약 및 기여점 이 논문은 HEXGEN-2라는 새로운 분산 LLM(대형 언어 모델) 추론 시스템을 제안합니다. 기존 동질적인 고성능 GPU 클러스터를 이용하는 방식과 달리, 이기종 GPU 환경에서 Prefill(입력 처리)과 Decoding(출력 생성) 단계를 분리(disaggregated…
A Hardware Evaluation Framework for Large Language Model Inference
논문의 강점 및 독창적인 지점 빠르고 정확한 하드웨어 평가 프레임워크 (LLMCompass) 제공 기존의 Roofline 모델이 빠르지만 부정확하고, 사이클 수준의 시뮬레이션이 정확하지만 느린 단점을 보완. 평균 10.4%의 연산자 오류율과 LLM 추론에 대한 4.1%의 오류율을 기록하며 빠른 평가 가능…
Fast State Restoration in LLM Serving with HCache
논문의 강점 및 독창성 강점 효율적인 상태 복원 기술 (HCache) 제안 기존 KV 캐시 오프로드 및 토큰 재계산 방법 대비, 최대 5.73배 빠른 TTFT(Time To First Token) 및 1.92-2.40배 적은 저장 공간을 요구하여 실질적인 성능 향상을 입증함. IO 및 연산 자원을 동시에…
TokenRing: An Efficient Parallelism Framework for Infinite-Context LLMs via Bidirectional Communication
논문의 강점 및 독창성 강점: 양방향 P2P 통신 활용: 기존 Ring-Attention의 단방향 통신 한계를 극복하고, Query(Q)와 block output을 동시에 전송함으로써 통신 지연을 줄이고 계산-통신 중첩을 증가시킴. 통신 오버헤드 감소: 블록 기반으로 QKV 텐서를 토큰 차원에서 GPU에…
Distributed Inference and Fine-tuning of Large Language Models Over The Internet
논문의 강점과 독창적인 지점 독창적인 분산 시스템 설계: 이 논문은 분산된 신뢰성이 낮은 기기들로 대규모 언어 모델(50B+ 파라미터)을 실행하기 위한 결함 허용 알고리즘을 제안합니다. 이는 기존의 고성능 서버에 의존하지 않고, 일반 사용자 장비를 활용하여 LLM을 실행할 수 있도록 설계되었습니다.…
EE-LLM: Large-Scale Training and Inference of Early-Exit Large Language Models with 3D Parallelism
논문의 주요 강점과 독창성 효율적인 대규모 LLM 훈련 및 추론: EE-LLM은 Early-Exit LLM의 대규모 훈련 및 추론을 지원하는 첫 번째 프레임워크 중 하나로, 3D 병렬 처리를 기반으로 설계되어 대규모 모델 훈련에서 높은 효율성을 제공합니다. Early-Exit 층을 추가하면서도 훈련 시간…
Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
Mooncake: A KVCache-Centric Disaggregated Architecture for LLM Serving 강점과 독창적인 지점 KVCache 중심의 분리 아키텍처: Mooncake는 LLM의 prefill과 decoding 단계를 분리하여 GPU, CPU, DRAM, SSD의 리소스…
Context Parallelism for Scalable Million-Token Inference
강점 및 독창적 기여 이 논문은 Context Parallelism (CP)라는 기법을 통해 대규모 언어 모델(LLM)에서의 긴 문맥 길이(최대 1M 토큰) 추론 효율성을 대폭 향상시키는 방법을 제안합니다. 주요 강점과 독창적인 기여는 다음과 같습니다: 긴 문맥 길이에서의 추론 효율성: 기존의 방법보다…
SimpleFSDP: Simpler Fully Sharded Data Parallel with torch.compile
\ 논문의 요약 및 강점 논문의 제목: SimpleFSDP: Simpler Fully Sharded Data Parallel with torch.compile 핵심 요약: SimpleFSDP는 PyTorch-native compiler 기반의 Fully Sharded Data Parallel (FSDP)…
Efficient LLM Inference with I/O-Aware Partial KV Cache Recomputation
논문의 핵심 요약 이 논문은 대형 언어 모델(LLM) 추론 시 CPU-GPU 간의 데이터 전송 병목 현상을 해결하기 위해 I/O를 고려한 부분 KV 캐시 재계산 기법을 제안합니다. 기존의 GPU 메모리 부족 문제를 CPU 메모리로 오프로드하여 해결하려는 접근법의 단점을 보완하며, GPU 계산과 PCIe…
Sharing and Throughput-oriented Token Batching
논문의 강점 및 독창적인 지점 Global Prefix Sharing의 명시적 적용 기존의 LLM 추론 엔진은 LRU 기반 캐시를 사용해 접두사(prefix)를 공유했지만, 이는 대규모 배치에서 최적화를 달성하지 못했습니다. BatchLLM은 전역적으로 접두사를 명시적으로 식별하고 관리하여 공유 접두사를…
Efficient Memory Management for Large Language Model Serving with PagedAttention
결론 및 핵심 요약 이 논문은 LLM(대규모 언어 모델)의 효율적인 메모리 관리와 고성능 서빙을 위해 PagedAttention이라는 새로운 주의 알고리즘을 제안하며, 이를 기반으로 한 vLLM 시스템을 설계했습니다. 기존 시스템 대비 24배의 처리량 향상을 제공하며, 특히 메모리 낭비를 줄이고, 다양한…
GSPMD: General and Scalable Parallelization for ML Computation Graphs
논문의 강점과 독창적인 지점 1. 강점 일반화된 병렬화 시스템: GSPMD는 다양한 병렬화 패턴(데이터 병렬화, 모델 병렬화, 파이프라인 병렬화)을 단일 프레임워크로 통합하여 모든 유형의 머신러닝 모델에서 사용할 수 있음. 사용자 주석(annotation)을 최소화하면서 모델을 대규모 장치 클러스터로 확…
Fast Inference of Mixture-of-Experts Language Models with Offloading
논문의 핵심 요약 이 논문은 Mixture-of-Experts (MoE) 기반 대형 언어 모델(Mixtral-8x7B)을 제한된 GPU 메모리 환경에서 효율적으로 추론할 수 있는 방법을 제안합니다. 주요 기여는 다음과 같습니다: LRU 캐싱 및 Speculative Expert Loading 알고리즘을…
Infinite-LLM: Efficient LLM Service for Long Context with DistAttention and Distributed KVCache
논문 요약 Infinite-LLM은 초대형 언어 모델(LLM)의 동적 컨텍스트 길이 문제를 해결하기 위해 제안된 효율적인 서비스 시스템입니다. 논문은 특히 DistAttention 메커니즘과 Distributed KVCache를 도입해 LLM 요청 서비스의 확장성을 획기적으로 개선합니다. 이를 통해 긴…
SuperServe: Fine-Grained Inference Serving for Unpredictable Workloads
논문 요약 및 분석 논문의 강점 문제 정의의 명확성: 예측 불가능하고 폭발적인 워크로드 하에서 ML 추론 시스템이 지연(SLO)을 만족하면서 높은 정확도를 유지해야 하는 문제를 효과적으로 다룸. 독창적인 접근 방식 - SubNetAct: SubNetAct는 SuperNet을 활용하여 메모리 효율성과 지연…
DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving
논문의 핵심 내용 및 독창성 논문 제목: DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving 주요 기여: 문제 정의: 기존 LLM 서비스 시스템은 "Prefill"(첫 토큰 생성)과…
Inference without Interference: Disaggregate LLM Inference for Mixed Downstream Workloads
결론: TetriInfer의 주요 기여 및 핵심 아이디어 TetriInfer는 대규모 언어 모델(LLM)의 추론 과정에서 발생하는 간섭 문제(interference)를 해결하기 위해 설계된 클라우드 기반 추론 시스템입니다. 주요 강점은 사전 단계(prefill)와 디코드 단계(decode)의 분리…
TP-Aware Dequantization
논문 요약과 분석 핵심 요약 이 논문에서는 TP-Aware Dequantization이라는 새로운 방법을 제안하여 대형 언어 모델(LLM)의 분산 추론 과정에서 지연(latency)을 줄이는 최적화를 소개합니다. 이 방법은 텐서 병렬(Tensor Parallel, TP) 환경에서 데이터 국지성(data…
TeraPipe: Token-Level Pipeline Parallelism for Training Large-Scale Language Models
강점 및 독창성 요약 이 논문 TeraPipe는 Transformer 기반 언어 모델(Large Language Models, LLMs)의 훈련을 가속화하기 위한 Token-Level Pipeline Parallelism을 제안합니다. 주요 강점은 다음과 같습니다: 토큰 단위 병렬화: 기존의 마이크로배치…
FlexLLM: A System for Co-Serving Large Language Model Inference and Parameter-Efficient Finetuning
논문의 강점과 독창성 이 논문 H2O (Heavy-Hitter Oracle)는 대형 언어 모델(LLM)의 추론 과정에서 발생하는 KV 캐시 메모리 문제를 효율적으로 해결하기 위해 새로운 접근법을 제안합니다. 주요 강점과 독창성은 다음과 같습니다: 문제 해결의 중요성: 대형 언어 모델은 메모리 사용량이 높…
FASTDECODE: High-Throughput GPU-Efficient LLM Serving using Heterogeneous Pipelines
논문의 강점과 독창적인 지점 이 논문은 대규모 언어 모델(LLM) 서빙을 위해 FASTDECODE라는 새로운 시스템을 제안합니다. 주요 강점과 독창성은 다음과 같습니다: 메모리-계산 분리 아키텍처: LLM의 중요한 구성요소인 KV-Cache를 GPU가 아닌 CPU에서 처리하도록 설계했습니다. CPU는 메…
MuxServe: Flexible Spatial-Temporal Multiplexing for Multiple LLM Serving
논문의 강점과 독창성 MuxServe: Flexible Spatial-Temporal Multiplexing for Multiple LLM Serving는 다중 대형 언어 모델(LLM)을 효율적으로 서빙하기 위한 공간-시간 다중화(spatial-temporal multiplexing) 시스템을 제안합니다…
RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation
논문 "RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generation"는 Retrieval-Augmented Generation (RAG) 시스템의 효율성을 높이기 위해 제안된 다단계 캐싱 시스템을 소개합니다. 이 시스템은 외부 지식을…
Tree-based Speculative Inference and Verification
논문의 주요 내용 및 독창적인 점 논문의 강점과 독창적인 점 트리 기반 추측적 추론 (Tree-based Speculative Inference): 기존의 순차적 디코딩 또는 단일 시퀀스 기반 추측적 추론과 달리, SpecInfer는 트리 구조를 활용하여 여러 후보 토큰을 동시에 추론합니다. 이는…
TorchTitan: One-stop PyTorch native solution for production ready LLM pre-training
논문 제목: TorchTitan: One-stop PyTorch native solution for production ready LLM pre-training 논문의 강점과 독창성 PyTorch 기반 통합 솔루션: TorchTitan은 PyTorch-native 분산 훈련 시스템으로, 대규모 언어 모델…
VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration
논문 요약 및 분석 논문 제목: VL-CACHE: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration 논문의 주요 내용 및 기여점 이 논문은 Vision-Language Models…
EPIC Efficient Position-Independent Context Caching for Serving Large Language Models
이 논문 "Epic: Efficient Position-Independent Context Caching for Serving Large Language Models"는 대형 언어 모델(LLM) 추론 속도를 높이기 위한 위치 독립적 컨텍스트 캐싱(Position-Independent Context…
DynamoLLM Designing LLM Inference Clusters for Performance and Energy Efficiency
논문 분석: "DynamoLLM: Designing LLM Inference Clusters for Performance and Energy Efficiency" 1. 논문의 강점 및 독창적인 지점 강점: 에너지 효율적인 LLM 인프라: 이 논문은 대규모 LLM 추론 클러스터에서 에너지 소비를 최적화하고…
FLUX Fast Software-based Communication Overlap On GPUs Through Kernel Fusion
물론입니다. 논문의 주요 내용과 강점, 알고리즘 과정, 한계점에 대해 한국어로 설명드리겠습니다. 강점 및 독창성 향상된 통신 중첩: Flux는 GPU에서 종속 계산과 통신 작업을 매우 세밀한 단위로 분해하고 결합하여 최대 96%까지 통신 지연을 숨깁니다. 이 방식은 대규모 언어 모델의 분산 학습 및 추론…
Efficient Generative LLM Inference Using Phase Splitting
논문 "Splitwise: Efficient Generative LLM Inference Using Phase Splitting"는 대형 언어 모델(LLM)의 추론을 효율적으로 수행하기 위해서 추론 단계를 분리하는 Splitwise라는 기법을 제안합니다. 이 논문은 주로 대형 모델의 추론 요청 시 발생하…
SpotServe Serving Generative Large Language Models on Preemptible Instances
논문 "SpotServe: Serving Generative Large Language Models on Preemptible Instances"는 대형 언어 모델(LLM)을 경제적인 프리엠티브 인스턴스에서 효율적으로 서빙할 수 있는 새로운 분산 시스템 SpotServe를 제안합니다. 이 논문의 주요 강…
GraphPipe Improving Performance and Scalability of DNN Training with Graph Pipeline Parallelism
개인의견 : pipeline Parallelism에 관련된 논문을 몇개 봤는데 그 중에서 가장 재밋는 논문인것 같네요. graph의 toplogy-aware Pipeline Parallelism이라는 당연한 개념을 포함하여 효과적인 결과를 내는것 같습니다. 다만 구현에 대한 오버헤드는 쫌 있을꺼같군요 논…
Helix Distributed Serving of Large Language Models via Max-Flow on Heterogeneous GPUs
논문에서는 Helix라는 시스템을 소개하며, 이 시스템은 이기종(heterogeneous) GPU 클러스터 상에서 대규모 언어 모델(LLM)을 분산적으로 제공하기 위해 설계되었습니다. Helix의 주요 강점과 독창성, 핵심 알고리즘 예시, 한계점을 다음과 같이 정리해드립니다. 강점과 독창적인 지점 이기종…
Teola Towards End-to-End Optimization of LLM-based Applications
Teola의 primitive 그래프, causal prefix prefill과 구조화된 partial decoding, topology-aware batching 및 vLLM을 공유하는 실제 비교 조건을 원문으로 검토한다.
Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve
개인의견 : 서비스를 하는 수준에서 생각하면 continuous batching같은 테크닉을 사용하면 prefill을 스케줄을 어떠한 방식으로 할지가 궁금했는데 이러한 방법으로 stall을 줄이다니 재밋는 논문이네요. 다만 prefill의 stall을 줄이기 위해서 decode는 불필요하게…