소개
안녕하세요, 리벨리온(Rebellions) 에서 compiler engineer로 일하고 있는 류재훈이라고 합니다.
이 블로그는 AI 모델을 하드웨어에서 효율적으로 실행하기 위한 컴파일러 기술과 최적화를 공부하며 정리하는 공간입니다. 논문 리뷰와 오픈소스 코드 분석을 중심으로, C++와 개발 경험, 일상에 관한 글도 기록합니다.
주제별 읽기 안내
- LLM 추론 최적화: 추측 디코딩, 캐시 압축, 서빙과 스케줄링에 관한 논문 리뷰입니다.
- KV 캐시: 압축·양자화·축출·오프로딩·접두사 재사용을 다룹니다.
- 추론 엔진 코드 읽기: 오픈소스 프로젝트의 실행 경로를 연재로 따라갑니다.
- Abseil과 C++: C++ 코드 작성과 API 사용에 관한 학습 기록입니다.
글을 읽으실 때
개인 학습 기록이므로 오류나 해석의 차이가 있을 수 있습니다. 논문의 실험 수치는 해당 모델·하드웨어·평가 조건을 기준으로 읽어 주세요. 실제 적용을 검토할 때는 글에 연결된 원문과 프로젝트 코드를 함께 확인하는 것이 좋습니다.
연락처
블로그를 보시다가 궁금한 게 있으시면 언제든지 메일(jaehunryu@icloud.com)을 보내주시거나 코멘트를 달아주시면 최대한 빠른 시간 안에 답장 드리겠습니다. 감사합니다.
댓글