Hardware Architecture

15페이지

The Other Half of the Memory Wall: Serving 35B MoEs from SSD with Trained Routing Prediction

논문 링크 SSD에 산 MoE를 깨우다: 24 GB 데스크톱에서 35B MoE를 20 tok/s로 서빙하는 Edge0한 줄 요약 (TL;DR)35B급 MoE는 4-bit로도 19.5 GB 를 차지해 24 GB 머신에 상주하지 못한다 (근거: §1). …

2026년 9월 18일

16분

Mixture of Experts Quantization Efficient Inference LLM Inference Hardware Architecture Open-Source LLM

Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures

논문 링크 Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘DeepSeek-V3 논문 심층 분석: 확장성 문제 해결 및 …

2025년 5월 17일

70분

Distributed Computing Hardware Architecture

Duplex: A Device for Large Language Models with Mixture of Experts, Grouped Query Attention, and Continuous Batching

논문 링크 Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘📌 결론 요약논문 *“Duplex: A …

2025년 4월 13일

22분

Hardware Architecture Machine Learning

LeanAttention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers

논문 링크 Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘논문 『LeanAttention: Hardware-Aware …

2025년 4월 7일

27분

Hardware Architecture Machine Learning

TurboAttention: Efficient Attention Approximation for High Throughputs LLMs

논문 링크 Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘논문 『TurboAttention: Efficient …

2025년 3월 11일

35분

Machine Learning Hardware Architecture

A Hardware Evaluation Framework for Large Language Model Inference

논문 링크 Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘논문의 강점 및 독창적인 지점 빠르고 정확한 하드웨어 평가 …

2025년 1월 21일

25분

Hardware Architecture Distributed Computing Machine Learning

Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving

논문 링크 Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘Mooncake: A KVCache-Centric …

2024년 12월 24일

24분

Distributed Computing Hardware Architecture

Infinite-LLM: Efficient LLM Service for Long Context with DistAttention and Distributed KVCache

논문 링크 Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘논문 요약Infinite-LLM은 초대형 언어 모델(LLM) …

2024년 12월 18일

25분

Distributed Computing Hardware Architecture

FlightLLM: Efficient Large Language Model Inference with a Complete Mapping Flow on FPGAs

논문 링크 Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘논문 요약 및 분석제목: FlightLLM: …

2024년 12월 17일

27분

Hardware Architecture

FP6-LLM: Efficiently Serving Large Language Models Through FP6-Centric Algorithm-System Co-Design

논문 링크 Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘논문의 강점과 독창적인 지점 FP6 기반의 효율적인 양자화 …

2024년 12월 15일

51분

Machine Learning Hardware Architecture

Benchmarking and Dissecting the Nvidia Hopper GPU Architecture

논문 링크 Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘논문의 주요 내용 요약이 논문은 Nvidia Hopper …

2024년 12월 14일

42분

Hardware Architecture

COMET Towards Partical W4A4KV4 LLMs Serving

논문 : https://arxiv.org/abs/2410.12168 아래글은 Scholar GPT와 대화를 나눈 내용입니다. Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점논문 **“COMET: Towards …

2024년 11월 11일

11분

Hardware Architecture Machine Learning

DynamoLLM Designing LLM Inference Clusters for Performance and Energy Efficiency

논문 : https://arxiv.org/abs/2408.00741 아래글은 Scholar GPT와 대화를 나눈 내용입니다. Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점논문 분석: “DynamoLLM: Designing …

2024년 11월 10일

12분

Hardware Architecture Distributed Computing

Efficient Generative LLM Inference Using Phase Splitting

논문 : https://arxiv.org/abs/2311.18677v2 아래글은 Scholar GPT와 대화를 나눈 내용입니다. Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점Answer논문 **“Splitwise: …

2024년 11월 5일

10분

Hardware Architecture Distributed Computing

Keyformer KV Cache Reduction through Key Tokens Selection for Efficient Generative Inference

논문 : https://arxiv.org/abs/2403.09054 개인의견 : 예전부터 KV cache중에 핵심이 되는 내용만 잘 선택하면 오버헤드를 줄일수 있지 않을까라고 생각했는데 핵심 토큰만 가지고 이러한 방법을 구현한 논문입니다. 이러한 논문 …

2024년 10월 31일

16분

Machine Learning Hardware Architecture Natural Language Processing