Dynamic Diffusion Transformer
논문의 핵심 요약 이 논문은 Dynamic Diffusion Transformer (DyDiT)라는 새로운 모델을 제안하며, 기존 Diffusion Transformer (DiT)의 과도한 연산량 문제를 해결하는 것을 목표로 한다. DyDiT는 시간축(Timestep)과 공간축(Spatial)에서 동적으…
ICLR2025
6페이지
HEXGEN-2: DISAGGREGATED GENERATIVE INFERENCE OF LLMS IN HETEROGENEOUS ENVIRONMENT
논문의 핵심 요약 및 기여점 이 논문은 HEXGEN-2라는 새로운 분산 LLM(대형 언어 모델) 추론 시스템을 제안합니다. 기존 동질적인 고성능 GPU 클러스터를 이용하는 방식과 달리, 이기종 GPU 환경에서 Prefill(입력 처리)과 Decoding(출력 생성) 단계를 분리(disaggregated…
Speculate, then Collaborate: Fusing Knowledge of Language Models during Decoding
논문의 강점과 독창적인 지점 이 논문의 핵심 기여는 Collaborative Speculative Decoding (CoSD) 알고리즘을 제안하여, 훈련 없이도 여러 LLM의 지식을 효과적으로 융합하는 방법을 제시한 점이다. CoSD의 강점은 다음과 같다. 효율적인 테스트 타임(추론 시점) 모델 융합 기…
You OnlyPruneOnce: DESIGNING CALIBRATION-FREE MODEL COMPRESSION WITH POLICY LEARNING
논문의 핵심 요약 이 논문은 PruneNet이라는 새로운 모델 압축 기법을 제안하며, 기존 방법들의 한계를 극복하고자 한다. 주요 기여점은 다음과 같다: Calibration-Free Pruning: 기존 모델 프루닝 기법들은 보정 데이터(calibration dataset)에 의존하는 반면,…
FlashMask: Efficient and Rich Mask Extension of FlashAttention
논문의 핵심 요약 논문 "FLASHMASK: Efficient and Rich Mask Extension of FlashAttention"는 기존 FlashAttention이 지원하는 마스크 타입을 확장하고, 메모리 복잡도를 O(N²)에서 O(N)으로 줄이면서 성능을 향상시킨 새로운 column-wise…
TypedThinker: Typed Thinking Improves Large Language Model Reasoning
논문의 강점과 독창적인 지점 강점 다양한 추론 방식의 활용 기존 LLM(대형 언어 모델)의 한계를 극복하기 위해 연역(deductive), 귀납(inductive), 가설(abductive), 유추(analogical) 네 가지의 논리적 추론 방식을 적용함. 각각의 추론 방식이 특정 유형의 문제에서 효과…