XGrammar 논문 상세 분석: 유연하고 효율적인 LLM 구조화 생성 엔진 제공해주신 논문 "XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models" [cite: 1]은 대규모 언어 모델(LLM)이…
논문 『Mirage: A Multi-Level Superoptimizer for Tensor Programs』를 자세히 분석한 내용을 정리하여 설명합니다. 📌 결론 압축 정리 『Mirage』는 GPU에서 실행되는 텐서 프로그램을 위한 최초의 다계층 슈퍼 옵티마이저로, 커널(kernel), 블록…
📌 논문 요약 및 분석 (FlexAttention: A Programming Model for Generating Optimized Attention Kernels) ✅ 논문의 강점 및 독창적인 지점 유연성 (Flexibility) 기존의 FlashAttention과 달리, FlexAttention은 다…
본 논문은 JaxPP라는 시스템을 제안하여, 기존의 Single-Program Multiple-Data (SPMD) 방식의 한계를 극복하고 Multiple-Program Multiple-Data (MPMD) 파이프라인 병렬화를 통해 대규모 딥러닝 모델 학습의 확장성과 성능을 향상한 연구이다. 특히,…
논문 분석: "HYSYNTH: Context-Free LLM Approximation for Guiding Program Synthesis" 강점과 독창적인 지점 하이브리드 접근법: 이 논문은 대형 언어 모델(LLMs)과 하향식 및 상향식 탐색 방식을 결합한 하이브리드 방법론을 제안합니다. 기존에는 순수…
이 논문은 Meta AI에서 제안한 LLM Compiler라는 모델을 설명합니다. 이는 컴파일러 최적화 작업을 위해 설계된 대규모 언어 모델(LLM)로, 코드 최적화 및 디스어셈블리와 같은 컴파일러 관련 작업에서 높은 성능을 발휘하도록 훈련되었습니다. 논문의 강점과 독창적인 지점 컴파일러 최적화에 특화된…
제목 Fast and Effective Orchestration of Compiler Optimizations 저자 Zhelong Pan,Rudolf Eigenmann Motivation compile-time optimizations 은 전반적으로 프로그램 성능을 향상시키지만 일부 기법은 성능 하락을…
제목 TVM: An Automated End-to-End Optimizing Compiler for Deep Learning TVM? 해당논문은 머신러닝용 컴파일러중에 대표적인 TVM에 대한 paper입니다. 현재는 apache에서 관리 하고 있으며 graph level IR 을 통한…
제목 NeuroVectorizer: End-to-End Vectorization with Deep Reinforcement Learning 저자 Ameer Haj-Ali, Nesreen K. Ahmed, Ted Willke, Sophia Shao, Krste Asanovic, Ion Stoica…