abseil
82편Abseil Tip of the Week 를 한국어로 옮긴 글 모음입니다. string_view, unique_ptr, 임시 객체와 수명처럼 C++ 를 쓰면서 매번 다시 확인하게 되는 주제를 한 편에 하나씩 다룹니다.
주제별로 둘러보기
code-series
15편오픈소스 추론 엔진을 한 커밋에 고정해 놓고 처음부터 끝까지 읽는 연재입니다. 실행 경로를 따라가며 각 편이 코드의 특정 구간과 그 설계 이유를 다룹니다.
LLM-Inference
16편LLM 추론을 빠르게, 싸게 만드는 방법을 다룬 논문 리뷰입니다. 추측 디코딩, KV 캐시 압축, 프롬프트 압축, 희소성 활용, 이기종 파이프라인 등을 다룹니다.
KV Cache
26편KV 캐시를 줄이고, 버리고, 다시 쓰는 방법을 다룬 논문 리뷰입니다. 압축·양자화·축출 신호·오프로딩·접두사 재사용을 한 자리에 모았습니다.
Long Context
23편긴 문맥을 감당하는 방법을 다룬 논문 리뷰입니다. 희소 어텐션, 문맥 압축과 재계산, 상태공간 모델, 백만 토큰급 서빙을 다룹니다.
Distributed Computing
61편여러 GPU·노드에 걸친 LLM 서빙과 학습을 다룬 논문 리뷰입니다. 프리필/디코드 분리, 파이프라인 병렬, 통신-연산 겹치기, 스케줄링과 에너지를 다룹니다.
최근 글
On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
논문 링크 온폴리시는 만능이 아니다: 증류 동역학에서 롤아웃 정책·KL 방향·학습률의 진짜 주인공 TL;DR — 강-약 증류(strong-to-weak distillation)에서 온폴리시(OnPD)와 오프폴리시(OffPD)를 분리해 보면, 최종 성능 …
3분
Machine Learning
Natural Language Processing
Large Language Models
Reinforcement Learning
Efficient Training
Knowledge Distillation
The KV Cache Is the New Memory Wall
논문 링크 KV 캐시가 새로운 메모리 월(Memory Wall)이다: 장문맥 LLM 추론의 세 영역과 다섯 도메인 TL;DR — 장문맥 LLM의 디코드(decode) 추론은 산술 연산이 아니라 메모리 대역폭에 묶이며, 문맥 길이가 계산 가능한 특정 …
16분
KV Cache
Efficient Inference
Long Context
Hardware Architecture
Attention Optimization
Quantization
WavePP: High-Throughput Pipeline Parallel LLM Prefill under Prefix Reuse
논문 링크 WavePP — 프리픽스 재사용을 태우는 파이프라인 병렬 프리필 런타임TL;DRTensorRT-LLM 위에 구축한 WavePP 는 요청 admission(재사용 합의·캐시 보호·용량 예약)을 파이프라인 실행과 비동기로 겹쳐 처리 하고, …
14분
KV Cache
Prefix Caching
Efficient Inference
LLM Inference
Pipeline Parallelism
Long Context
Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression
논문 링크 위상 감수성(Phase Sensitivity): 청크 단위 KV 캐시 압축이 만드는 ‘주기적 약점’ TL;DR — 청크 단위 KV 캐시 압축을 쓰는 모델(DeepSeek-V4 계열 등)에서, 같은 정보라도 압축 창 경계 …
16분
KV Cache
Long Context
Large Language Models
Transformer
Interpretability
Efficient Inference
WorldAttention: An Efficient Attention Architecture for Interactive Video World Models
논문 링크 WorldAttention: 슬라이딩 윈도우를 버린 인터랙티브 비디오 월드 모델의 시스템 공동 설계TL;DR — 텍스트로 제어되는 인터랙티브 비디오 월드 모델은 “전체 히스토리를 기억해야 한다"는 요구와 “KV …
15분
KV Cache
Efficient Inference
Long Context
Attention Optimization
Sparse Attention
Video Generation