논문 링크 Fathom: 쿼리마다 깊이를 바꾸는 스캔으로 1M 토큰 디코딩을 1.67배 빠르게 하다한 줄 요약 (TL;DR)에이전트 세션이 1M 토큰까지 길어지고 수십 세션이 동시에 상주하면 KV 캐시와 이를 랭킹하는 인덱스가 호스트 메모리에 살게 되 …
논문 링크 SSD에 산 MoE를 깨우다: 24 GB 데스크톱에서 35B MoE를 20 tok/s로 서빙하는 Edge0한 줄 요약 (TL;DR)35B급 MoE는 4-bit로도 19.5 GB 를 차지해 24 GB 머신에 상주하지 못한다 (근거: §1). …
논문 링크 “무손실” 스페큘레이티브 디코딩은 정말 무손실일까? — Orthrus 재현으로 드러난 수치 정밀도의 함정TL;DR — Orthrus는 frozen AR 백본에 diffusion 뷰를 얹어 여러 토큰을 병렬로 생성하며 …
논문 링크 CoVeR: 지오메트리만으로 멀티뷰 3D 추론의 비주얼 토큰을 92%까지 덜어내는 커버리지 기반 프루닝한 줄 요약 (TL;DR)3D 장면을 여러 시점 이미지로 렌더링해 2D VLM에 넣으면 토큰이 시점 수에 비례해 폭증한다. CoVeR는 학 …
논문 링크 데드라인을 채우는 프리필 청크: SLOWeave — LLM 서빙의 적응형 청킹 스케줄러 TL;DR — 고정된 프리필 청크 크기 대신, 매 반복(iteration)마다 “가장 이른 디코드 데드라인 전에 끝나는 가장 큰 프리필 청크 …
논문 링크 “GPU에 OS를 입히자”: LLM 시대를 위한 GPU 멀티태스킹 OS 레이어 의 제안한 줄 요약 (TL;DR)LLM 서빙에서 GPU는 종종 ≤10%대 활용 에 머무르고(현장 관찰), 부하는 수분 단위 3× 로 요동한다. 저자는 커널-그레인 …
![[논문리뷰] SGLang: Efficient Execution of Structured Language Model Programs](https://cdn.bytez.com/mobilePapers/v2/neurips/94872/images/20-0.png)
논문 링크 SGLang & RadixAttention: “LM 프로그램” 시대의 실행 최적화, 어떻게 6.4× 빨라졌나TL;DR언어–런타임 공동 설계(co-design) 위에 RadixAttention(라딕스 트리 기반 KV 캐시+스케줄링), …