abseil
82편Abseil Tip of the Week 를 한국어로 옮긴 글 모음입니다. string_view, unique_ptr, 임시 객체와 수명처럼 C++ 를 쓰면서 매번 다시 확인하게 되는 주제를 한 편에 하나씩 다룹니다.
주제별로 둘러보기
code-series
15편오픈소스 추론 엔진을 한 커밋에 고정해 놓고 처음부터 끝까지 읽는 연재입니다. 실행 경로를 따라가며 각 편이 코드의 특정 구간과 그 설계 이유를 다룹니다.
LLM-Inference
16편LLM 추론을 빠르게, 싸게 만드는 방법을 다룬 논문 리뷰입니다. 추측 디코딩, KV 캐시 압축, 프롬프트 압축, 희소성 활용, 이기종 파이프라인 등을 다룹니다.
KV Cache
31편KV 캐시를 줄이고, 버리고, 다시 쓰는 방법을 다룬 논문 리뷰입니다. 압축·양자화·축출 신호·오프로딩·접두사 재사용을 한 자리에 모았습니다.
Long Context
27편긴 문맥을 감당하는 방법을 다룬 논문 리뷰입니다. 희소 어텐션, 문맥 압축과 재계산, 상태공간 모델, 백만 토큰급 서빙을 다룹니다.
Distributed Computing
61편여러 GPU·노드에 걸친 LLM 서빙과 학습을 다룬 논문 리뷰입니다. 프리필/디코드 분리, 파이프라인 병렬, 통신-연산 겹치기, 스케줄링과 에너지를 다룹니다.
최근 글
Contextual Correction of Parallel Draftsfor Speculative Decoding
논문 링크 병렬 드래프트의 맥락 보정 — DCOCO: 스페큘레이티브 디코딩에서 잃어버린 토큰 간 의존성을 다시 찾는 법 TL;DR — DFlash 같은 병렬 확산 드래프터는 한 번에 토큰 블록을 뽑아내지만, 블록 내부에서는 앞 토큰의 정체를 모른 채 …
19분
Speculative Decoding
LLM Inference
Efficient Inference
Large Language Models
Inference Acceleration
Transformer
Towards Looped Models Done Right, Part II: Rethinking at Fixed Points
논문 링크 고정점(fixed point)에서 루프 모델 다시 생각하기 — 재귀 비용을 지우는 네 가지 지름길한 줄 요약 (TL;DR)루프형(looped) 언어 모델은 재귀 깊이가 깊어질수록 상태가 고정점 $z^\star = …
9분
KV Cache
Efficient Inference
Efficient Training
Large Language Models
Reinforcement Learning
Transformer
SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference
논문 링크 SparseDecoding: 디코딩을 아는 프루닝, 그리고 디코딩을 위해 태어난 커널한 줄 요약 (TL;DR)LLM의 자기회귀 디코딩이 메모리 바운드라는 점에 착안해, 프루닝의 캘리브레이션을 “고정 텍스트"가 아니라 …
3분
Model Compression
Efficient Inference
LLM Inference
GPU Acceleration
Transformer Optimization
Large Language Models
MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers
논문 링크 MC-Sparse: Diffusion Transformer의 Dense–Sparse Attention 간극을 해부하고 메꾸다한 줄 요약 (TL;DR)학습 없이(training-free) 확산 트랜스포머(DiT)의 어텐션을 토큰 단위로 스파스 …
13분
Sparse Attention
Efficient Inference
Video Generation
GPU Acceleration
Attention Optimization
Computer Vision
TokenRouter: Efficient Serving System for Token-Level LLM Routing
논문 링크 TokenRouter: 토큰 단위 LLM 라우팅을 위한 효율적 서빙 시스템 TL;DR — LLM을 세션·쿼리 단위가 아니라 토큰 단위로 라우팅하면 비용-품질 파레토 프론티어를 크게 끌어올릴 수 있지만, 단일 LLM 가정에 묶인 기존 서빙 스 …
20분
Efficient Inference
LLM Inference
Large Language Models
Mixture of Experts
Transformer
Model Routing