류재훈

Abseil Tip of the Week 를 한국어로 옮긴 글 모음입니다. string_view, unique_ptr, 임시 객체와 수명처럼 C++ 를 쓰면서 매번 다시 확인하게 되는 주제를 한 편에 하나씩 다룹니다.

오픈소스 추론 엔진을 한 커밋에 고정해 놓고 처음부터 끝까지 읽는 연재입니다. 실행 경로를 따라가며 각 편이 코드의 특정 구간과 그 설계 이유를 다룹니다.

LLM 추론을 빠르게, 싸게 만드는 방법을 다룬 논문 리뷰입니다. 추측 디코딩, KV 캐시 압축, 프롬프트 압축, 희소성 활용, 이기종 파이프라인 등을 다룹니다.

KV 캐시를 줄이고, 버리고, 다시 쓰는 방법을 다룬 논문 리뷰입니다. 압축·양자화·축출 신호·오프로딩·접두사 재사용을 한 자리에 모았습니다.

긴 문맥을 감당하는 방법을 다룬 논문 리뷰입니다. 희소 어텐션, 문맥 압축과 재계산, 상태공간 모델, 백만 토큰급 서빙을 다룹니다.

여러 GPU·노드에 걸친 LLM 서빙과 학습을 다룬 논문 리뷰입니다. 프리필/디코드 분리, 파이프라인 병렬, 통신-연산 겹치기, 스케줄링과 에너지를 다룹니다.