SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering
SteerDistill: 교사 조종으로 양자화된 에이전트의 판단을 되살리다 에이전트는 도구를 여러 번 호출해 작업을 끝내므로 추론 비용이 곧 배포 비용이다. 저비트 양자화는 그 비용을 줄이지만, 양자화된 에이전트는 성공한 전체 정밀도 실행과 다른 환경 전이를 만들어 작업 성공률이 떨어질 수 있다.…
딥러닝 컴파일러 엔지니어의 LLM 추론 최적화·논문·코드 읽기 기록
SteerDistill: 교사 조종으로 양자화된 에이전트의 판단을 되살리다 에이전트는 도구를 여러 번 호출해 작업을 끝내므로 추론 비용이 곧 배포 비용이다. 저비트 양자화는 그 비용을 줄이지만, 양자화된 에이전트는 성공한 전체 정밀도 실행과 다른 환경 전이를 만들어 작업 성공률이 떨어질 수 있다.…
도입: 새 시점을 그릴 때마다 캐시 전체를 읽는다 여러 장의 사진으로부터 새 각도의 영상을 만드는 모델 중 품질이 가장 앞서는 설계는, 장면 정보를 Transformer의 키·값 캐시에 담아 두는 방식이다. 이 설계의 대가는 새 시점 한 장을 그릴 때마다 캐시 전체를 다시 읽어야 한다는 것이고, 그래서…
도입 이 논문은 가중치와 활성화를 모두 4비트로 줄이는 MXFP4 W4A4 양자화 방법 MACaQ를 제안한다. 각 선형 레이어를 서로 독립적으로 처리하는 것이 핵심이다. 입력에 필요한 스케일과 회전을 온라인으로 적용하는 비용을 감수하는 대신, 레이어 사이의 의존성을 없앤다. 그 결과 양자화 시간이 크게…
Abseil Tip of the Week 를 한국어로 옮긴 글 모음입니다. string_view, unique_ptr, 임시 객체와 수명처럼 C++ 를 쓰면서 매번 다시 확인하게 되는 주제를 한 편에 하나씩 다룹니다.
오픈소스 추론 엔진을 한 커밋에 고정해 놓고 처음부터 끝까지 읽는 연재입니다. 실행 경로를 따라가며 각 편이 코드의 특정 구간과 그 설계 이유를 다룹니다.
LLM 추론을 빠르게, 싸게 만드는 방법을 다룬 논문 리뷰입니다. 추측 디코딩, KV 캐시 압축, 프롬프트 압축, 희소성 활용, 이기종 파이프라인 등을 다룹니다.
KV 캐시를 줄이고, 버리고, 다시 쓰는 방법을 다룬 논문 리뷰입니다. 압축·양자화·축출 신호·오프로딩·접두사 재사용을 한 자리에 모았습니다.
긴 문맥을 감당하는 방법을 다룬 논문 리뷰입니다. 희소 어텐션, 문맥 압축과 재계산, 상태공간 모델, 백만 토큰급 서빙을 다룹니다.
여러 GPU·노드에 걸친 LLM 서빙과 학습을 다룬 논문 리뷰입니다. 프리필/디코드 분리, 파이프라인 병렬, 통신-연산 겹치기, 스케줄링과 에너지를 다룹니다.