Distributed Computing on Jaehun's Blog

Miles v0.1: Production-Level Post-Training

Thu, 10 Sep 2026 00:00:00 +0900

논문 링크

Miles v0.1: 프론티어 RL 사후학습을 위한 “검증·청결·확장 가능"한 풀스택 시스템

TL;DR : Miles는 rolluout 생성과 트레이닝이 서로 다른 엔진·커널·정밀도로 돌아가며 발생하는 train-rollout mismatch를 시스템 차원에서 해결하는 풀스택 RL 사후학습 프레임워크다. SGLang 기반 롤아웃, Megatron-LM/FSDP 트레이너, 세 가지 가중치 동기화 수송(broadcast/P2P/disk-delta)을 하나로 묶고, 토큰 정확성(TITO)과 전문가 라우팅 재현(R3)까지 보장한다. 종단 사례 연구로 GLM-5.2 744B-A40B 를 64개 GB300 GPU에서 완전 비동기 에이전틱 RL로 학습시켜 중앙값 스텝 263초 를 달성했다(근거: §9.2, Fig. 5).

Online Draft Co-Training for Speculative Decoding in Large-Scale, Long-Context RL Post-Training

Thu, 10 Sep 2026 00:00:00 +0900

논문 링크

대규모·장문맥 RL 사후학습에서 Speculative Decoding을 실용화하는 두 가지 설계

TL;DR : RL 사후학습의 벽-클록 시간을 지배하는 롤아웃 생성을 speculative decoding으로 가속하고, 여기에 온라인 드래프트 공동학습(co-training) 을 더해 정책이 진화해도 드래프트가 뒤처지지 않게 한다. 다만 기존 시스템은 고급 드래프트가 쓰는 branch attention(문맥 병렬화 미지원) 과 여러 스테이지에 흩어진 target feature(파이프라인 병렬화 문제) 를 다루지 못했다. 이 논문은 (1) branch attention을 causal 주시퀀스 + rank-local branch로 분해해 병합하는 CP 기법과, (2) 파이프라인 스케줄 밖에서 target feature를 전달하는 TapChannel 을 제안해, 8B부터 122B까지 1.16–1.88× 의 end-to-end 가속을 달성했다(근거: §3.3, Tab. 1).

PRIMA.CPP: Speeding Up 70B-Scale LLM Inference on Low-Resource Everyday Home Clusters

Thu, 19 Jun 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

가정용 기기로 700억 매개변수 LLM을 구동하다: prima.cpp 논문 심층 리뷰

최근 대규모 언어 모델(LLM)의 발전은 놀랍지만, 대부분의 강력한 모델은 막대한 자원을 갖춘 클라우드 데이터센터에서만 접근 가능했습니다. GPT-4, Claude 3.5와 같은 모델을 개인 기기에서 사용하는 것은 먼 꿈처럼 여겨졌죠. 하지만 만약 여러분의 가정에 있는 노트북, 데스크톱, 스마트폰, 태블릿을 하나로 묶어 거대한 LLM을 구동할 수 있다면 어떨까요?

Accelerating MoE Model Inference with Expert Sharding

Thu, 05 Jun 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

제공해주신 논문 “Accelerating MoE Model Inference with Expert Sharding” (MOESHARD)에 대한 자세한 분석은 다음과 같습니다.

Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures

Sat, 17 May 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

DeepSeek-V3 논문 심층 분석: 확장성 문제 해결 및 AI 하드웨어 아키텍처에 대한 성찰

DeepSeek-AI에서 발표한 “DeepSeek-V3: 확장성 문제 해결 및 AI 하드웨어 아키텍처에 대한 성찰” 논문은 대규모 언어 모델(LLM)의 급격한 확장에 따른 현재 하드웨어 아키텍처의 한계를 분석하고, DeepSeek-V3 모델을 통해 이러한 문제점을 효과적으로 해결하는 방안을 제시합니다. 본 논문은 하드웨어 인식 모델 공동 설계를 통해 비용 효율적인 대규모 학습 및 추론을 가능하게 하는 혁신적인 접근 방식을 상세히 설명합니다. [cite: 1, 2, 3, 4]

Seesaw: High-throughput LLM Inference via Model Re-sharding

Mon, 12 May 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

📌 결론 요약

논문 ‘Seesaw: High-throughput LLM Inference via Model Re-sharding’은 LLM의 두 주요 단계인 prefill과 decode에서 병렬화 전략을 동적으로 변경하는 ‘model re-sharding’ 기법을 제안하여, 평균 1.36배, 최대 1.78배의 추론 처리량 개선을 달성합니다. 이 방식은 기존 vLLM처럼 고정된 병렬화 전략에 비해 throughput 최적화를 달성하며, tiered KV cache buffering과 transition-minimizing scheduling을 통해 재샤딩 비용까지 효과적으로 줄입니다.

Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts

Mon, 14 Apr 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 **“Comet: Fine-grained Computation-communication Overlapping for Mixture-of-Experts”**는 MoE 모델의 핵심 병목인 GPU 간 통신 지연을 fine-grained 수준에서 컴퓨팅과 통신을 정교하게 겹치도록 설계함으로써 실행 성능을 크게 개선한 ByteDance의 시스템 최적화 논문입니다.

MegaScale-Infer: Serving Mixture-of-Experts at Scale with Disaggregated Expert Parallelism

Mon, 14 Apr 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

📌 결론 요약 (핵심 기여 및 성능)

MegaScale-Infer는 대규모 Mixture-of-Experts (MoE) 모델 서빙을 위한 효율적 시스템으로, Attention과 FFN 모듈을 분리(disaggregate) 하여 GPU 활용률을 극대화하고 최대 1.9×의 GPU throughput 개선 및 1.86× 비용 대비 성능 향상을 달성합니다.

AIOpsLab: A Holistic Framework to Evaluate AI Agents for Enabling Autonomous Clouds

Wed, 02 Apr 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 『AIOpsLab: A Holistic Framework to Evaluate AI Agents for Enabling Autonomous Clouds』를 매우 상세히 분석한 결과, 다음과 같은 핵심 사항과 독창적 특징을 확인할 수 있었습니다.

NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference

Mon, 31 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

📌 논문 제목: NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference

📌 저자: Xuanlin Jiang, Yang Zhou, Shiyi Cao, Ion Stoica, Minlan Yu

1. 결론 요약 (강점 & 독창적인 지점)

NEO는 GPU 메모리의 제한으로 인해 발생하는 LLM 추론의 병목을 해결하기 위해 비대칭 GPU-CPU 파이프라이닝과 부하 인식 스케줄링을 적용한 새로운 시스템입니다. 주요 강점은 다음과 같습니다.

PipeFill: Using GPUs During Bubbles in Pipeline-parallel LLM Training

Tue, 25 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문『PipeFill: Using GPUs During Bubbles in Pipeline-parallel LLM Training』의 핵심 내용을 상세히 분석하여, 논문의 강점, 독창적인 지점, 핵심 알고리즘의 전체적인 과정 및 한계점을 요약하였습니다.

On Distributed Larger-Than-Memory Subset Selection With Pairwise Submodular Functions

Mon, 24 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

✅ 결론 요약

이 논문은 “메모리 용량을 초과하는 대규모 데이터셋에서 대표적인 subset을 효율적으로 선택"하는 문제를 다룬다. 기존 방법들은 중앙 서버가 전체 subset을 메모리에 올릴 수 있어야 한다는 제약이 있었지만, 이 논문은 중앙 서버 없이도 분산 환경에서 고품질 subset을 선택할 수 있는 새로운 알고리즘 2가지를 제안한다:

TRAINING ULTRA LONG CONTEXT LANGUAGE MODEL WITH FULLY PIPELINED DISTRIBUTED TRANSFORMER

Mon, 24 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

✅ 결론 요약

이 논문은 초장문(long-context) LLM을 저렴한 하드웨어(예: 4 GPU) 상에서 효율적으로 훈련할 수 있게 하는 FPDT (Fully Pipelined Distributed Transformer) 구조를 제안함.
기존 대비 최대 16배 더 긴 시퀀스(예: 2M tokens)를 55% 이상의 MFU(Model FLOPs Utilization) 효율로 훈련 가능함.

Venn: Resource Management Across Federated Learning Jobs

Tue, 18 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점과 독창적인 지점

이 논문은 연합 학습(Federated Learning, FL)의 리소스 관리 문제를 다루며, 특히 다수의 FL 작업이 동일한 디바이스 풀에서 실행될 때 발생하는 자원 경쟁(Resource Contention) 을 해결하는 Venn이라는 새로운 리소스 관리 시스템을 제안합니다.

AI Metropolis: Scaling Large Language Model-based Multi-Agent Simulation with Out-of-order Execution

Mon, 17 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문『AI Metropolis: Scaling Large Language Model-based Multi-Agent Simulation with Out-of-order Execution』의 주요 강점과 독창적인 지점, 핵심 알고리즘 및 한계점을 압축하여 설명하면 다음과 같습니다.

Balancing Pipeline Parallelism with Vocabulary Parallelism

Mon, 17 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 핵심 내용을 요약하면 다음과 같습니다.

DIFFSERVE: EFFICIENTLY SERVING TEXT-TO-IMAGE DIFFUSION MODELS WITH QUERY-AWARE MODEL SCALING

Mon, 17 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 핵심 요약 및 기여

DIFFSERVE는 query-aware model scaling 개념을 도입하여 Text-to-Image Diffusion Model의 효율적인 서빙을 가능하게 하는 시스템이다. 기존 서빙 시스템이 모든 요청에 대해 동일한 크기의 모델을 사용하는 반면, DIFFSERVE는 입력 쿼리의 난이도에 따라 경량(lightweight) 모델과 고성능(heavyweight) 모델을 선택적으로 사용하는 모델 캐스케이드(model cascade) 기법을 적용한다. 이를 통해 최대 24% 품질 향상, 19-70% SLO(서비스 레벨 목표) 위반 감소를 달성한다.

Marconi: Prefix Caching for the Era of Hybrid LLMs

Wed, 12 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 핵심 요약 및 평가

논문 제목:
Marconi: Prefix Caching for the Era of Hybrid LLMs

LAVA: LIFETIME-AWARE VM ALLOCATION WITH LEARNED DISTRIBUTIONS AND ADAPTATION TO MISPREDICTIONS

Tue, 11 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점과 독창성

강점

기존 VM 스케줄링 방식보다 높은 효율성

A PRACTICAL CROSS-LAYER APPROACH FOR ML-DRIVEN STORAGE PLACEMENT IN WAREHOUSE-SCALE COMPUTERS

Mon, 10 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점 및 독창적인 지점

이 논문은 대규모 데이터 센터에서 기계 학습(ML)을 활용한 저장소 배치(Storage Placement) 문제를 다루며, 기존 접근법의 한계를 극복하기 위해 크로스-레이어(Cross-Layer) 접근 방식을 제안했다. 주요 강점과 독창적인 점은 다음과 같다.

Scaling Deep Learning Training with MPMD Pipeline Parallelism

Mon, 10 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

본 논문은 JaxPP라는 시스템을 제안하여, 기존의 Single-Program Multiple-Data (SPMD) 방식의 한계를 극복하고 Multiple-Program Multiple-Data (MPMD) 파이프라인 병렬화를 통해 대규모 딥러닝 모델 학습의 확장성과 성능을 향상한 연구이다. 특히, JaxPP는 사용자가 pipeline 스케줄링을 유연하게 정의할 수 있도록 지원하며, 자동화된 작업 분배와 통신 패턴 추론을 통해 하드웨어 자원을 효율적으로 사용하여 기존 SPMD 대비 최대 1.11배 향상된 성능을 보였다.

LSERVE: EFFICIENT LONG-SEQUENCE LLM SERVING WITH UNIFIED SPARSE ATTENTION

Thu, 06 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 핵심 내용을 먼저 간략히 요약한 후, 강점과 독창적인 지점을 자세히 설명하고, 핵심 알고리즘의 동작 원리를 예시와 함께 제시한 뒤, 논문의 한계점을 마지막으로 정리하겠습니다.

ThunderServe: High-performance and Cost-efficient LLM Serving in Cloud Environments

Thu, 06 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 『ThunderServe: High-performance and Cost-efficient LLM Serving in Cloud Environments』를 상세히 분석하여 다음과 같은 내용을 압축적으로 정리하였다.

HEXGEN-2: DISAGGREGATED GENERATIVE INFERENCE OF LLMS IN HETEROGENEOUS ENVIRONMENT

Tue, 25 Feb 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 핵심 요약 및 기여점

이 논문은 HEXGEN-2라는 새로운 분산 LLM(대형 언어 모델) 추론 시스템을 제안합니다. 기존 동질적인 고성능 GPU 클러스터를 이용하는 방식과 달리, 이기종 GPU 환경에서 Prefill(입력 처리)과 Decoding(출력 생성) 단계를 분리(disaggregated inference) 하여 비용 효율성을 극대화하는 것이 핵심 아이디어입니다.

A Hardware Evaluation Framework for Large Language Model Inference

Tue, 21 Jan 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점 및 독창적인 지점

빠르고 정확한 하드웨어 평가 프레임워크 (LLMCompass) 제공

Fast State Restoration in LLM Serving with HCache

Tue, 21 Jan 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점 및 독창성

강점

효율적인 상태 복원 기술 (HCache) 제안

TokenRing: An Efficient Parallelism Framework for Infinite-Context LLMs via Bidirectional Communication

Mon, 20 Jan 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점 및 독창성

강점:

Distributed Inference and Fine-tuning of Large Language Models Over The Internet

Thu, 02 Jan 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점과 독창적인 지점

독창적인 분산 시스템 설계:

EE-LLM: Large-Scale Training and Inference of Early-Exit Large Language Models with 3D Parallelism

Thu, 02 Jan 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 주요 강점과 독창성

효율적인 대규모 LLM 훈련 및 추론:

Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving

Tue, 24 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

Mooncake: A KVCache-Centric Disaggregated Architecture for LLM Serving