Hardware Architecture on Jaehun's Blog

The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction

Fri, 18 Sep 2026 00:00:00 +0900

논문 링크

SSD에 산 MoE를 깨우다: 24 GB 데스크톱에서 35B MoE를 20 tok/s로 서빙하는 Edge0

한 줄 요약 (TL;DR)

35B급 MoE는 4-bit로도 19.5 GB 를 차지해 24 GB 머신에 상주하지 못한다 (근거: §1). Edge0는 엑스퍼트 가중치를 SSD에 두고 mmap 스트리밍으로 읽되, 다음 레이어 라우팅을 한 토큰 앞서 예측하는 프리라우터(prerouter)로 디스크 지연을 컴퓨트 뒤에 숨기고, 그 예측 자체를 라우팅으로 소비해 드롭을 없애며, int4 + 라우팅 교체 손실을 병합하지 않은(unmerged) 복구 LoRA로 되갚는다 (근거: §3.2, §3.3). 결과는 Mac mini M4 Pro 24 GB 에서 35B 티어 20.4 tok/s , 피크 활성 메모리 2.9 GiB , fp16 교사 대비 평균 3.9 포인트 갭이다 (근거: Tab.1, Tab.2).

Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures

Sat, 17 May 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

DeepSeek-V3 논문 심층 분석: 확장성 문제 해결 및 AI 하드웨어 아키텍처에 대한 성찰

DeepSeek-AI에서 발표한 “DeepSeek-V3: 확장성 문제 해결 및 AI 하드웨어 아키텍처에 대한 성찰” 논문은 대규모 언어 모델(LLM)의 급격한 확장에 따른 현재 하드웨어 아키텍처의 한계를 분석하고, DeepSeek-V3 모델을 통해 이러한 문제점을 효과적으로 해결하는 방안을 제시합니다. 본 논문은 하드웨어 인식 모델 공동 설계를 통해 비용 효율적인 대규모 학습 및 추론을 가능하게 하는 혁신적인 접근 방식을 상세히 설명합니다. [cite: 1, 2, 3, 4]

Duplex: A Device for Large Language Models with Mixture of Experts, Grouped Query Attention, and Continuous Batching

Sun, 13 Apr 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

📌 결론 요약

논문 *“Duplex: A Device for Large Language Models with Mixture of Experts, Grouped Query Attention, and Continuous Batching”*은 저연산량(Op/B)이 지배적인 MoE 및 GQA 기반 LLM 추론을 위한 하드웨어 아키텍처 Duplex를 제안하며, GPU 단독 대비 최대 2.67×의 추론 속도와 42.03%의 에너지 절감 효과를 보여줍니다. 핵심은 **xPU (GPU 수준 고성능 연산기)**와 **Logic-PIM (로직 다이에 탑재된 저 Op/B 특화 연산기)**를 동시에 활용하여 MoE와 Attention Layer를 공동 처리(co-processing)하는 방식입니다.

LeanAttention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers

Mon, 07 Apr 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 『LeanAttention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers』에 대한 상세한 분석을 다음과 같이 제시합니다.

TurboAttention: Efficient Attention Approximation for High Throughputs LLMs

Tue, 11 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 『TurboAttention: Efficient Attention Approximation for High Throughputs LLMs』는 기존의 Attention 연산의 속도와 메모리 효율성을 동시에 개선한 통합적인 접근 방법을 제안하고 있으며, 이는 두 가지 핵심 알고리즘인 FlashQ와 Sparsity-based Softmax Approximation (SAS)을 통해 구현되었습니다.

A Hardware Evaluation Framework for Large Language Model Inference

Tue, 21 Jan 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점 및 독창적인 지점

빠르고 정확한 하드웨어 평가 프레임워크 (LLMCompass) 제공

Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving

Tue, 24 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

Mooncake: A KVCache-Centric Disaggregated Architecture for LLM Serving

Infinite-LLM: Efficient LLM Service for Long Context with DistAttention and Distributed KVCache

Wed, 18 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 요약

Infinite-LLM은 초대형 언어 모델(LLM)의 동적 컨텍스트 길이 문제를 해결하기 위해 제안된 효율적인 서비스 시스템입니다. 논문은 특히 DistAttention 메커니즘과 Distributed KVCache를 도입해 LLM 요청 서비스의 확장성을 획기적으로 개선합니다. 이를 통해 긴 컨텍스트 길이를 효과적으로 처리하며, 시스템 전체의 계산 및 메모리 자원 활용도를 높입니다.

FlightLLM: Efficient Large Language Model Inference with a Complete Mapping Flow on FPGAs

Tue, 17 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 요약 및 분석

제목: FlightLLM: Efficient Large Language Model Inference with a Complete Mapping Flow on FPGAs
주제: FPGA 기반 대형 언어 모델(LLM) 추론을 위한 효율적 아키텍처

FP6-LLM: Efficiently Serving Large Language Models Through FP6-Centric Algorithm-System Co-Design

Sun, 15 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점과 독창적인 지점

FP6 기반의 효율적인 양자화 지원:

Benchmarking and Dissecting the Nvidia Hopper GPU Architecture

Sat, 14 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 주요 내용 요약

이 논문은 Nvidia Hopper GPU 아키텍처에 대한 심층적인 벤치마킹과 분석을 수행했습니다. 특히 Hopper 아키텍처의 다음 세 가지 주요 특징을 다루었습니다:

COMET Towards Partical W4A4KV4 LLMs Serving

Mon, 11 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2410.12168

아래글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

논문 **“COMET: Towards Practical W4A4KV4 LLMs Serving”**는 대형 언어 모델(LLMs)을 효과적으로 배포하기 위해 양자화(quantization) 기법을 활용하여 GPU 성능을 최적화하는 방법을 제안합니다. 특히 INT4 텐서 코어를 활용해 모델의 메모리 사용량과 계산 효율성을 극대화하는 것이 핵심입니다. 이 논문에서의 주요 내용과 기여점을 설명드리겠습니다.

DynamoLLM Designing LLM Inference Clusters for Performance and Energy Efficiency

Sun, 10 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2408.00741

아래글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

논문 분석: “DynamoLLM: Designing LLM Inference Clusters for Performance and Energy Efficiency”

1. 논문의 강점 및 독창적인 지점

강점:

에너지 효율적인 LLM 인프라: 이 논문은 대규모 LLM 추론 클러스터에서 에너지 소비를 최적화하고 운영 비용을 줄이기 위해 DynamoLLM이라는 시스템을 제안합니다. 이 시스템은 LLM 추론의 다양한 특성을 활용하여 에너지 효율성을 53% 개선하고, 운영 비용을 61% 절감하며 탄소 배출량을 38% 줄였습니다.
동적 재구성 능력: DynamoLLM은 워크로드 변화에 따라 동적으로 재구성할 수 있는 시스템으로, 서버 인스턴스 수, 모델 병렬화, GPU 주파수 조정 등을 자동으로 조정합니다. 이를 통해 **성능 목표(SLO)**를 충족하면서도 에너지 소비를 최소화합니다.
다양한 LLM 요청에 대응: 이 시스템은 입력 및 출력 토큰 길이, 모델의 특성, SLO 요구 사항에 따라 서로 다른 요청을 다양한 서버 풀로 분류하고 최적화된 설정으로 처리합니다. 이를 통해 요청 유형에 따라 다양한 에너지-성능 프로파일을 적용하여 효율을 높입니다.

독창적인 지점:

계층적 제어 아키텍처: DynamoLLM은 계층적 제어 시스템을 도입하여 클러스터, 풀, 인스턴스 레벨에서 각각 최적화를 수행합니다. 각 레벨에서 독립적으로 조정을 수행하며, 상위 레벨에서 전달된 제약 조건을 준수하면서 에너지 효율성을 극대화합니다.
빠른 재구성 및 스케일링: 서버 인스턴스, 모델 병렬화, GPU 주파수를 빠르게 조정하여 재구성 오버헤드를 최소화합니다. 이를 통해 변동하는 워크로드에도 빠르게 적응할 수 있습니다.

2. 핵심 알고리즘 설명 및 예시

입력 예시

사용자가 다음과 같은 요청을 보낸다고 가정합니다:
PLAINTEXT

접기 복사
"Llama2-70B 모델을 사용하여 100,000개의 입력 토큰을 분석하고 요약을 생성해 주세요."
"Llama2-70B 모델을 사용하여 100,000개의 입력 토큰을 분석하고 요약을 생성해 주세요."

DynamoLLM의 추론 과정 (Inference Process)

Step 1: 입력 분석 및 워크로드 분류

Efficient Generative LLM Inference Using Phase Splitting

Tue, 05 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2311.18677v2

아래글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

Answer

논문 **“Splitwise: Efficient Generative LLM Inference Using Phase Splitting”**는 대형 언어 모델(LLM)의 추론을 효율적으로 수행하기 위해서 추론 단계를 분리하는 Splitwise라는 기법을 제안합니다. 이 논문은 주로 대형 모델의 추론 요청 시 발생하는 비효율성을 개선하고자 합니다. Splitwise는 추론 과정의 프롬프트 계산 단계와 토큰 생성 단계를 분리하여 각 단계에 맞는 최적의 하드웨어 자원을 할당함으로써 성능과 비용을 동시에 개선하는 시스템입니다. 이 논문의 주요 강점, 독창적인 지점, 핵심 알고리즘의 예시, 그리고 한계점은 다음과 같습니다.

Keyformer KV Cache Reduction through Key Tokens Selection for Efficient Generative Inference

Thu, 31 Oct 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2403.09054

개인의견 : 예전부터 KV cache중에 핵심이 되는 내용만 잘 선택하면 오버헤드를 줄일수 있지 않을까라고 생각했는데 핵심 토큰만 가지고 이러한 방법을 구현한 논문입니다. 이러한 논문을 볼때 마다 항상 과연 정확도에 얼마나 영향을 줄까라는 의심이 생길수 밖에 없지만 이렇게 알고리즘쪽에서 경량화를 많이 해주면 좋겠네요