Transformer Optimization

4페이지

Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data

도입 대화형 서비스처럼 배치 크기가 1에 가까운 상황에서, 전문가 혼합 언어 모델의 지연 시간은 대부분 라우팅된 전문가 가중치를 GPU 메모리에서 읽는 데서 생긴다. 전문가 안의 중간 차원 대부분은 한 토큰에 거의 기여하지 않으므로, 어느 채널을 읽을지 먼저 고르면 읽는 양을 크게 줄일 수 있다. 이 논…

2026년 10월 29일

15분

Mixture of Experts Efficient Inference

SparseDecoding: 생성 중 활성화로 프루닝 품질을 높이는 방법

모델이 직접 생성한 토큰으로 프루닝을 보정하고 디코딩 전용 커널을 결합합니다. A100 실험에서 최대 1.48배 가속을 얻은 조건과 품질 손실을 살펴봅니다.

2026년 10월 12일

14분

Model Compression Efficient Inference

[논문리뷰] SageAttention3: Microscaling FP4 Attention for Inference and An Exploration of 8-bit Training

SageAttention3의 FP4 추론과 SageBwd의 INT8 학습을 구분합니다. 검산한 예시로 양자화 오차, 저장량, 커널과 전체 실행 시간의 차이를 설명합니다.

2025년 7월 9일

3분

Transformer Optimization Inference Acceleration

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention

Native Sparse Attention (NSA) — 64 k 토큰도 11× 빠르게, 정확도는 그대로 한 줄 요약 (TL;DR) NSA는 ‘압축 → 선택 → 슬라이딩’ 3 분기 희소 어텐션과 GQA/MQA-친화 커널을 결합해 64 k 컨텍스트에서 디코딩 속도를 11.6 배, 학습 속도를 최대 9 배…

2025년 7월 7일

34분

Long Context Transformer Optimization