Performance on Jaehun's Blog

FLEX ATTENTION: A PROGRAMMING MODEL FOR GENERATING OPTIMIZED ATTENTION KERNELS

Mon, 07 Apr 2025 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

물어본 것: 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

QServe: W4A8KV4 Quantization and System Co-design for Efficient LLM Serving

Tue, 18 Mar 2025 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

ClusterKV: Manipulating LLM KV Cache in Semantic Space for Recallable Compression

Fri, 20 Dec 2024 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

Efficient LLM Inference with I/O-Aware Partial KV Cache Recomputation

Fri, 20 Dec 2024 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

SparseInfer: Training-free Prediction of Activation Sparsity for Fast LLM Inference

Fri, 20 Dec 2024 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

DeepSpeed-FastGen: High-throughput Text Generation for LLMs via MII and DeepSpeed-Inference

Mon, 16 Dec 2024 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache

Mon, 09 Dec 2024 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching

Fri, 06 Dec 2024 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

FASTDECODE: High-Throughput GPU-Efficient LLM Serving using Heterogeneous Pipelines

Fri, 06 Dec 2024 00:00:00 +0900

논문 링크

강점과 독창성, 핵심 알고리즘, 그리고 한계

FlexGen High-Throughput Generative Inference of Large Language Models with a Single GPU

Fri, 01 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2303.06865

개인의견 : 타겟은 다르지만 deepspeed(zero) 오프로딩을 한다는 측면에서는 비슷한 느낌을 받았다 그리고 정말 높은 throughtput을 위해서 quantization과 선형계획법으로 효율적으로 디바이스 사용을 가능하게 하는 방법으로 보인다. 다만 한계점으로 말하듯 TTFT(Time to First Token)가 증가하거나 quantization으로 인한 에러가 발생할 수 있는 구조로 생각이 된다.