게시글

기술과 일상에 대한 글 목록입니다.

607페이지
1 / 102

TTB: Test-time Baking for Efficient Rendering of Decoder-only View Synthesis Models

도입: 새 시점을 그릴 때마다 캐시 전체를 읽는다 여러 장의 사진으로부터 새 각도의 영상을 만드는 모델 중 품질이 가장 앞서는 설계는, 장면 정보를 Transformer의 키·값 캐시에 담아 두는 방식이다. 이 설계의 대가는 새 시점 한 장을 그릴 때마다 캐시 전체를 다시 읽어야 한다는 것이고, 그래서…

21분
Computer Vision Efficient Inference

MACaQ: Fast, Model Agnostic Calibrated Quantization for Low-Precision Weights and Activations

도입 이 논문은 가중치와 활성화를 모두 4비트로 줄이는 MXFP4 W4A4 양자화 방법 MACaQ를 제안한다. 각 선형 레이어를 서로 독립적으로 처리하는 것이 핵심이다. 입력에 필요한 스케일과 회전을 온라인으로 적용하는 비용을 감수하는 대신, 레이어 사이의 의존성을 없앤다. 그 결과 양자화 시간이 크게…

23분
Quantization Efficient Inference

RidgeFill: Training-Free Late-Layer Cache Fill for Faster Prefill

도입: 답이 나오기 전의 대기 시간 긴 프롬프트를 넣으면 첫 토큰이 나올 때까지 모델이 그 문서를 끝까지 통과시켜야 하고, 그만큼 사용자가 아무것도 보지 못한 채 기다린다. RidgeFill은 이 대기 시간을 줄이려고, 일부 층의 계산을 건너뛰고 그 층이 만들어야 할 캐시를 근사해 미리 채운다. 학습은…

30분
KV Cache Long Context