Operating Systems

3페이지

FlexInfer: Breaking Memory Constraint via Flexible and Efficient Offloading for On-Device LLM Inference

FlexInfer 논문 상세 분석: 온디바이스 LLM 추론의 메모리 제약 극복 FlexInfer 논문 "FlexInfer: Breaking Memory Constraint via Flexible and Efficient Offloading for On-Device LLM Inference" [cite:…

2025년 6월 5일

35분

Operating Systems

AIOS: LLM Agent Operating System

논문의 강점과 독창적인 지점 AIOS 시스템의 혁신성: 이 논문은 대형 언어 모델(LLM) 기반의 지능형 에이전트들을 위한 새로운 운영 체제, AIOS (LLM Agent Operating System)를 제안합니다. 기존의 에이전트 시스템들은 자원 관리의 비효율성 및 잠재적인 보안 문제에 직면했으나,…

2025년 1월 20일

41분

Operating Systems Natural Language Processing

PowerInfer: Fast Large Language Model Serving with a Consumer-grade GPU

논문의 요약 PowerInfer는 소비자용 GPU로 대형 언어 모델(LLM)을 빠르게 추론할 수 있도록 설계된 시스템입니다. LLM 추론에서 고도 국소성을 활용하여 GPU와 CPU의 협력을 통해 효율성을 극대화합니다. 주요 기여 Hot & Cold Neuron 분리: 자주 활성화되는 "hot…

2024년 12월 8일

14분

Machine Learning Operating Systems