Inference Acceleration

12페이지

On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction

확산 언어 모델은 '무엇을'과 '어디를'을 동시에 정해야 한다 확산 언어 모델은 마스크된 토큰을 여러 번 반복해서 채워가며 문장을 만든다. 정확하게 디코딩하려면 한 번의 모델 forward마다 가장 확실한 마스크 위치 하나만 토큰으로 확정해야 해서 느리고, 속도를 올리려고 한 번에 여러 위치를 확정하면…

19분
Speculative Decoding Efficient Inference

Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data

도입 대화형 서비스처럼 배치 크기가 1에 가까운 상황에서, 전문가 혼합 언어 모델의 지연 시간은 대부분 라우팅된 전문가 가중치를 GPU 메모리에서 읽는 데서 생긴다. 전문가 안의 중간 차원 대부분은 한 토큰에 거의 기여하지 않으므로, 어느 채널을 읽을지 먼저 고르면 읽는 양을 크게 줄일 수 있다. 이 논…

15분
Mixture of Experts Efficient Inference

Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds

도입 비디오 생성 모델만으로 게임 세상을 만들면, 화면 밖에 놓인 상태는 어디에도 저장되지 않는다. 한 번 지나친 복도는 다시 그려질 때마다 달라지고, 체력 같은 규칙도 픽셀에서 다시 읽어야 한다. Matrix-Game 4.0은 규칙과 상태를 게임 엔진이 코드로 지키게 하고, 비디오 모델은 화면을 그리는…

16분
Video Generation Efficient Inference

SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture

SPECTRA: 추론 단계가 바뀔 때마다 하드웨어도 옷을 갈아입는 재구성 가능 LLM 가속기 한 줄 요약 (TL;DR) 스펙큘레이티브 디코딩은 프리필(연산 바운드 GEMM)·디코드(메모리 바운드 GEMV)·그 사이의 병렬 검증을 오가며 산술 강도 가 토큰마다 출렁인다. 고정 데이터패스로는 이 세 체제를…

13분
Speculative Decoding Hardware Architecture