Efficient Streaming Language Models with Attention Sinks
논문 : https://arxiv.org/abs/2309.17453 아래글은 Scholar GPT와 대화를 나눈 내용입니다. Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점 네, 물론입니다. 논문의 강점과 독창성 어텐션 싱크(Attention Sinks) 개념 도입: …
14 분
게시글
모든 게시글 목록입니다. 최신순으로 정렬되어 있습니다.
총 503개의 게시글
총 84페이지
Enabling Tensor Language Model to Assist in Generating High-Performance Tensor Programs for Deep Learning
논문 : https://www.usenix.org/system/files/osdi24-zhai.pdf 아래글은 Scholar GPT와 대화를 나눈 내용입니다. Q : 논문의 핵심 내용과 강점, 알고리즘 설명, …
3 분
Meta Large Language Model Compiler Foundation Models of Compiler Optimization
논문 : https://arxiv.org/abs/2407.02524 아래글은 Scholar GPT와 대화를 나눈 내용입니다. Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점 이 논문은 Meta AI에서 제안한 LLM Compiler라는 모델을 설명합니다. 이는 컴파일러 …
4 분
Model Tells You What to Discard Adaptive KV Cache Compression for LLMs
논문 : https://arxiv.org/abs/2310.01801 아래글은 Scholar GPT와 대화를 나눈 내용입니다. Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점 논문은 FastGen이라는 적응형 KV 캐시 압축 기법을 제안합니다. 이 방법은 대규모 언어 모 …
7 분
Transformers are Multi-State RNNs
논문 : https://arxiv.org/abs/2401.06104 아래글은 Scholar GPT와 대화를 나눈 내용입니다. Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점 이 논문은 **Transformers를 Multi-State RNN(MSRNN)으로 재해석하고, …
6 분
BUZZ Beehive-structured Sparse KV Cache with Segmented Heavy Hitters for Efficient LLM Inference
논문 : https://arxiv.org/abs/2410.23079 아래글은 Scholar GPT와 대화를 나눈 내용입니다. Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점 논문의 강점 및 독창성 Beehive 구조와 Segmented Heavy Hitter 기반의 효율 …
5 분