딥러닝 컴파일러 엔지니어의 LLM 추론 최적화·논문·코드 읽기 기록
문제: 매 단계마다 다시 읽는 이미지 이미지로 질문에 답하는 확산 언어 모델은 응답을 한 번에 완성하지 않는다. 여러 단계에 걸쳐 빈 자리를 메우는 동안, 매 단계마다 거의 변하지 않는 이미지를 처음부터 다시 읽는다. LOWN은 “지금 이 단계에 이미지가 정말 필요한가”를 매번 묻고, 필요할 때만 다시…
새 공식 지표와 주요 뉴스를 짧게 짚고, 과거 실거래는 배경으로 구분합니다.
확산 언어 모델은 '무엇을'과 '어디를'을 동시에 정해야 한다 확산 언어 모델은 마스크된 토큰을 여러 번 반복해서 채워가며 문장을 만든다. 정확하게 디코딩하려면 한 번의 모델 forward마다 가장 확실한 마스크 위치 하나만 토큰으로 확정해야 해서 느리고, 속도를 올리려고 한 번에 여러 위치를 확정하면…
Abseil Tip of the Week 를 한국어로 옮긴 글 모음입니다. string_view, unique_ptr, 임시 객체와 수명처럼 C++ 를 쓰면서 매번 다시 확인하게 되는 주제를 한 편에 하나씩 다룹니다.
오픈소스 추론 엔진을 한 커밋에 고정해 놓고 처음부터 끝까지 읽는 연재입니다. 실행 경로를 따라가며 각 편이 코드의 특정 구간과 그 설계 이유를 다룹니다.
LLM 추론을 빠르게, 싸게 만드는 방법을 다룬 논문 리뷰입니다. 추측 디코딩, KV 캐시 압축, 프롬프트 압축, 희소성 활용, 이기종 파이프라인 등을 다룹니다.
KV 캐시를 줄이고, 버리고, 다시 쓰는 방법을 다룬 논문 리뷰입니다. 압축·양자화·축출 신호·오프로딩·접두사 재사용을 한 자리에 모았습니다.
긴 문맥을 감당하는 방법을 다룬 논문 리뷰입니다. 희소 어텐션, 문맥 압축과 재계산, 상태공간 모델, 백만 토큰급 서빙을 다룹니다.
여러 GPU·노드에 걸친 LLM 서빙과 학습을 다룬 논문 리뷰입니다. 프리필/디코드 분리, 파이프라인 병렬, 통신-연산 겹치기, 스케줄링과 에너지를 다룹니다.