딥러닝 컴파일러 엔지니어의 LLM 추론 최적화·논문·코드 읽기 기록
도입: 새 시점을 그릴 때마다 캐시 전체를 읽는다 여러 장의 사진으로부터 새 각도의 영상을 만드는 모델 중 품질이 가장 앞서는 설계는, 장면 정보를 Transformer의 키·값 캐시에 담아 두는 방식이다. 이 설계의 대가는 새 시점 한 장을 그릴 때마다 캐시 전체를 다시 읽어야 한다는 것이고, 그래서…
도입 이 논문은 가중치와 활성화를 모두 4비트로 줄이는 MXFP4 W4A4 양자화 방법 MACaQ를 제안한다. 각 선형 레이어를 서로 독립적으로 처리하는 것이 핵심이다. 입력에 필요한 스케일과 회전을 온라인으로 적용하는 비용을 감수하는 대신, 레이어 사이의 의존성을 없앤다. 그 결과 양자화 시간이 크게…
도입 에이전트 기반 서비스는 하나의 요청으로 끝나지 않는다. 도구를 기다리고, 문맥을 요약하고, 하위 작업을 병렬로 띄우기 때문에 같은 앞부분을 여러 번 다시 계산하게 된다. Evolving Infra는 이 반복 계산을 줄이기 위해, 노드의 역할 배정은 에이전트 워크로드 구성에, KV 제거·라우팅은 에이…
Abseil Tip of the Week 를 한국어로 옮긴 글 모음입니다. string_view, unique_ptr, 임시 객체와 수명처럼 C++ 를 쓰면서 매번 다시 확인하게 되는 주제를 한 편에 하나씩 다룹니다.
오픈소스 추론 엔진을 한 커밋에 고정해 놓고 처음부터 끝까지 읽는 연재입니다. 실행 경로를 따라가며 각 편이 코드의 특정 구간과 그 설계 이유를 다룹니다.
LLM 추론을 빠르게, 싸게 만드는 방법을 다룬 논문 리뷰입니다. 추측 디코딩, KV 캐시 압축, 프롬프트 압축, 희소성 활용, 이기종 파이프라인 등을 다룹니다.
KV 캐시를 줄이고, 버리고, 다시 쓰는 방법을 다룬 논문 리뷰입니다. 압축·양자화·축출 신호·오프로딩·접두사 재사용을 한 자리에 모았습니다.
긴 문맥을 감당하는 방법을 다룬 논문 리뷰입니다. 희소 어텐션, 문맥 압축과 재계산, 상태공간 모델, 백만 토큰급 서빙을 다룹니다.
여러 GPU·노드에 걸친 LLM 서빙과 학습을 다룬 논문 리뷰입니다. 프리필/디코드 분리, 파이프라인 병렬, 통신-연산 겹치기, 스케줄링과 에너지를 다룹니다.