LLM Systems

3페이지

[논문리뷰]: Memory Retrieval and Consolidation in Large Language Models through Function Tokens

Function Token Hypothesis: LLM “기억 검색”의 게이트는 왜 구두점과 개행인가 한 줄 요약 (TL;DR) 이 논문은 LLM의 기억을 “feature의 재활성화(retrieval) + 학습을 통한 feature 확장(consolidation)”으로 정의하고, function…

2025년 12월 20일

51분

Interpretability feature-retrieval

[논문리뷰]Towards Efficient and Practical GPU Multitasking in the Era of LLM

“GPU에 OS를 입히자”: LLM 시대를 위한 GPU 멀티태스킹 OS 레이어 의 제안 한 줄 요약 (TL;DR) LLM 서빙에서 GPU는 종종 ≤10%대 활용 에 머무르고(현장 관찰), 부하는 수분 단위 3× 로 요동한다. 저자는 커널-그레인 시간/공간 공유 + CUDA 가상메모리(2 MB) 기반 메모…

2025년 10월 9일

41분

Kubernetes DRA NCCL Virtualization

[논문리뷰] Marconi: Prefix Caching for the Era of Hybrid LLMs

Marconi: 하이브리드 LLM 시대의 프리픽스 캐싱을 다시 설계하다 한 줄 요약 (TL;DR) Marconi는 하이브리드 LLM(Attention+SSM) 서빙에서 재사용 가능성이 높은 접두만 선별 입장(admission) 하고, FLOP/바이트 효율을 반영한 퇴장(eviction) 으로 캐시를 관리…

2025년 10월 8일

41분

Prefix Caching FLOP-aware Scheduling