게시글

기술과 일상에 대한 글 목록입니다.

607페이지
5 / 102

On the SPOT: Enhancing Speculative Decoding for Diffusion Language Models via Commit-Order Prediction

확산 언어 모델은 '무엇을'과 '어디를'을 동시에 정해야 한다 확산 언어 모델은 마스크된 토큰을 여러 번 반복해서 채워가며 문장을 만든다. 정확하게 디코딩하려면 한 번의 모델 forward마다 가장 확실한 마스크 위치 하나만 토큰으로 확정해야 해서 느리고, 속도를 올리려고 한 번에 여러 위치를 확정하면…

19분
Speculative Decoding Efficient Inference

Channel Selection for Mixture-of-Experts Decoding Needs No Calibration Data

도입 대화형 서비스처럼 배치 크기가 1에 가까운 상황에서, 전문가 혼합 언어 모델의 지연 시간은 대부분 라우팅된 전문가 가중치를 GPU 메모리에서 읽는 데서 생긴다. 전문가 안의 중간 차원 대부분은 한 토큰에 거의 기여하지 않으므로, 어느 채널을 읽을지 먼저 고르면 읽는 양을 크게 줄일 수 있다. 이 논…

15분
Mixture of Experts Efficient Inference

Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization

최근 언어 모델은 어휘 하나에 담는 정보를 계속 키우고 있다. Gemma 3n에서 처음 도입된 레이어별 임베딩(PLE)은 Gemma 4로 이어졌고, 어휘 항목마다 입력층 하나의 벡터 대신 디코더 레이어마다 다른 학습 벡터를 둔다. 이 글은 이 테이블을 약 100배 줄이면서 원본 성능 대부분을 유지하는…

14분
Quantization Model Compression