abseil
82편Abseil Tip of the Week 를 한국어로 옮긴 글 모음입니다. string_view, unique_ptr, 임시 객체와 수명처럼 C++ 를 쓰면서 매번 다시 확인하게 되는 주제를 한 편에 하나씩 다룹니다.
주제별로 둘러보기
code-series
15편오픈소스 추론 엔진을 한 커밋에 고정해 놓고 처음부터 끝까지 읽는 연재입니다. 실행 경로를 따라가며 각 편이 코드의 특정 구간과 그 설계 이유를 다룹니다.
LLM-Inference
16편LLM 추론을 빠르게, 싸게 만드는 방법을 다룬 논문 리뷰입니다. 추측 디코딩, KV 캐시 압축, 프롬프트 압축, 희소성 활용, 이기종 파이프라인 등을 다룹니다.
KV Cache
28편KV 캐시를 줄이고, 버리고, 다시 쓰는 방법을 다룬 논문 리뷰입니다. 압축·양자화·축출 신호·오프로딩·접두사 재사용을 한 자리에 모았습니다.
Long Context
25편긴 문맥을 감당하는 방법을 다룬 논문 리뷰입니다. 희소 어텐션, 문맥 압축과 재계산, 상태공간 모델, 백만 토큰급 서빙을 다룹니다.
Distributed Computing
61편여러 GPU·노드에 걸친 LLM 서빙과 학습을 다룬 논문 리뷰입니다. 프리필/디코드 분리, 파이프라인 병렬, 통신-연산 겹치기, 스케줄링과 에너지를 다룹니다.
최근 글
Tailoring the Quantization Space for 1-Bit KV Cache Compression
논문 링크 TaSQ: 1비트 KV 캐시를 위한 양자화 공간 ‘맞춤 설계’TL;DR — TaSQ(Tailored Space Vector Quantization)는 벡터 양자화(VQ)가 적용될 타깃 공간 자체를 재설계해, KV 캐시를 …
15분
KV Cache
Quantization
Efficient Inference
Long Context
Large Language Models
Vector Quantization
Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
논문 링크 서로 다른 LLM 사이에서 KV 캐시를 그대로 건네받는 법: HeteroFold한 줄 요약 (TL;DR) : 서로 다른 토크나이저와 구조를 가진 모델 사이에서도 수신자가 다시 프리필하지 않고 KV 캐시를 재사용하는 방법 HeteroFold가 …
17분
KV Cache
Efficient Inference
Long Context
Large Language Models
Multiagent Systems
LLM Inference
On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
논문 링크 온폴리시는 만능이 아니다: 증류 동역학에서 롤아웃 정책·KL 방향·학습률의 진짜 주인공 TL;DR — 강-약 증류(strong-to-weak distillation)에서 온폴리시(OnPD)와 오프폴리시(OffPD)를 분리해 보면, 최종 성능 …
3분
Machine Learning
Natural Language Processing
Large Language Models
Reinforcement Learning
Efficient Training
Knowledge Distillation
The KV Cache Is the New Memory Wall
논문 링크 KV 캐시가 새로운 메모리 월(Memory Wall)이다: 장문맥 LLM 추론의 세 영역과 다섯 도메인 TL;DR — 장문맥 LLM의 디코드(decode) 추론은 산술 연산이 아니라 메모리 대역폭에 묶이며, 문맥 길이가 계산 가능한 특정 …
16분
KV Cache
Efficient Inference
Long Context
Hardware Architecture
Attention Optimization
Quantization
WavePP: High-Throughput Pipeline Parallel LLM Prefill under Prefix Reuse
논문 링크 WavePP — 프리픽스 재사용을 태우는 파이프라인 병렬 프리필 런타임TL;DRTensorRT-LLM 위에 구축한 WavePP 는 요청 admission(재사용 합의·캐시 보호·용량 예약)을 파이프라인 실행과 비동기로 겹쳐 처리 하고, …
14분
KV Cache
Prefix Caching
Efficient Inference
LLM Inference
Pipeline Parallelism
Long Context