류재훈

안녕하세요! 기술과 일상에 대한 생각을 기록하는 블로그입니다

리벨리온(Rebellions)에서 딥러닝 컴파일러를 개발하는 엔지니어입니다. AI 모델, 최근엔 LLM을 하드웨어에서 더 효율적으로 실행하기 위한 컴파일러 기술과 최적화에 대해서 공부하려고 만든 블로그입니다. 또한 취미와 투자에 대해서도 간간히 글을 올리려고 하고있습니다.

GitHub Linkedin Email

최근 글

How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus

논문 링크 “무손실” 스페큘레이티브 디코딩은 정말 무손실일까? — Orthrus 재현으로 드러난 수치 정밀도의 함정TL;DR — Orthrus는 frozen AR 백본에 diffusion 뷰를 얹어 여러 토큰을 병렬로 생성하며 …

2026년 9월 16일

Speculative Decoding Numerical Precision Quantization LLM Inference Efficient Inference Benchmark Evaluation

ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search

논문 링크 ZGCM-1: 7B 밀집 모델이 235B 프런티어와 겨루는 법 — 완전 개방형·초고효율 파운데이션 모델 설계 보고서TL;DR — ZGCM-1은 7.39B 밀집(dense) 모델 하나로 AIME 2026 75.0%, WebWalkerQA …

2026년 9월 16일

KV Cache Long Context Efficient Inference Efficient Training Chain-of-Thought Open-Source LLM

Programmable World Model

논문 링크 Programmable World Model — 생성형 월드에 “실행 가능한 상태"를 심다한 줄 요약 (TL;DR)비디오 월드 모델은 점점 더 사실적인 인터랙티브 환경을 만들어내지만, 화면에 잠깐 스친 픽셀만 기억할 뿐 …

2026년 9월 15일

Computer Vision Image Generation Machine Learning Vision-Language Model World Model Video Generation

SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking

논문 링크 SAS: 증류 없이 문맥 랭킹을 직접 학습하는 단순한 어텐션 스파시피케이션TL;DR — 사후 학습(post-training) 어텐션 스파시피케이션에서, 선택기(selector)가 만든 연속 점수를 어텐션 로짓에 로그 게이트(log gate) …

2026년 9월 15일

KV Cache Long Context Efficient Inference Attention Optimization Large Language Models Transformer

CoVeR: Coverage-Based Token Pruning for Multi-View 3D Reasoning in VLMs

논문 링크 CoVeR: 지오메트리만으로 멀티뷰 3D 추론의 비주얼 토큰을 92%까지 덜어내는 커버리지 기반 프루닝한 줄 요약 (TL;DR)3D 장면을 여러 시점 이미지로 렌더링해 2D VLM에 넣으면 토큰이 시점 수에 비례해 폭증한다. CoVeR는 학 …

2026년 9월 14일

Efficient Inference KV Cache Vision-Language Model LLM Inference Model Compression Computer Vision