Efficient Generative LLM Inference Using Phase Splitting
논문 "Splitwise: Efficient Generative LLM Inference Using Phase Splitting"는 대형 언어 모델(LLM)의 추론을 효율적으로 수행하기 위해서 추론 단계를 분리하는 Splitwise라는 기법을 제안합니다. 이 논문은 주로 대형 모델의 추론 요청 시 발생하…
기술과 일상에 대한 글 목록입니다.
논문 "Splitwise: Efficient Generative LLM Inference Using Phase Splitting"는 대형 언어 모델(LLM)의 추론을 효율적으로 수행하기 위해서 추론 단계를 분리하는 Splitwise라는 기법을 제안합니다. 이 논문은 주로 대형 모델의 추론 요청 시 발생하…
KernelGPT 논문은 운영체제 커널에서의 결함 탐지를 위해 대형 언어 모델(LLM)을 활용한 자동화된 시스템 호출(specification) 생성 방법을 제안합니다. 기존의 커널 퍼징 도구 Syzkaller의 제약을 해결하기 위해 LLM을 활용하여 Syzkaller가 필요로 하는 system call…
논문 "Magicoder: Empowering Code Generation with OSS-INSTRUCT"는 대형 언어 모델(LLM)을 위한 오픈소스 기반 코드 생성 모델 Magicoder를 제안하며, 이를 통해 LLM의 코드 생성 성능을 크게 향상시키는 방법을 소개합니다. 이 논문의 주요 강점, 독창…
업로드된 논문은 DNN(딥 뉴럴 네트워크)의 성능을 개선하기 위해 커널 오케스트레이션을 최적화하는 텐서 프로그램 최적화 도구인 Korch에 대해 다루고 있습니다. 아래는 논문의 강점, 독창성, 핵심 알고리즘 예시와 한계점에 대한 설명입니다. 강점 및 독창성 운영자 분해와 세밀한 최적화: Korch는 "운…
논문 "SpotServe: Serving Generative Large Language Models on Preemptible Instances"는 대형 언어 모델(LLM)을 경제적인 프리엠티브 인스턴스에서 효율적으로 서빙할 수 있는 새로운 분산 시스템 SpotServe를 제안합니다. 이 논문의 주요 강…
개인의견 : pipeline Parallelism에 관련된 논문을 몇개 봤는데 그 중에서 가장 재밋는 논문인것 같네요. graph의 toplogy-aware Pipeline Parallelism이라는 당연한 개념을 포함하여 효과적인 결과를 내는것 같습니다. 다만 구현에 대한 오버헤드는 쫌 있을꺼같군요 논…