류재훈

안녕하세요! 기술과 일상에 대한 생각을 기록하는 블로그입니다

리벨리온(Rebellions)에서 딥러닝 컴파일러를 개발하는 엔지니어입니다. AI 모델, 최근엔 LLM을 하드웨어에서 더 효율적으로 실행하기 위한 컴파일러 기술과 최적화에 대해서 공부하려고 만든 블로그입니다. 또한 취미와 투자에 대해서도 간간히 글을 올리려고 하고있습니다.

GitHub Linkedin Email

최근 글

CoVeR: Coverage-Based Token Pruning for Multi-View 3D Reasoning in VLMs

논문 링크 CoVeR: 지오메트리만으로 멀티뷰 3D 추론의 비주얼 토큰을 92%까지 덜어내는 커버리지 기반 프루닝한 줄 요약 (TL;DR)3D 장면을 여러 시점 이미지로 렌더링해 2D VLM에 넣으면 토큰이 시점 수에 비례해 폭증한다. CoVeR는 학 …

2026년 9월 14일

Efficient Inference KV Cache Vision-Language Model LLM Inference Model Compression Computer Vision

Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation

논문 링크 Marigold V2: 이미지 편집 확산 트랜스포머(DiT)를 단안 깊이 추정기로 되살리기한 줄 요약 (TL;DR)Qwen-Image-Edit-2509라는 **이미지 편집용 확산 트랜스포머(DiT)**를 4-bit QLoRA로 파인튜닝해, …

2026년 9월 13일

Computer Vision Image Generation Transformer Machine Learning Artificial Intelligence Monocular Depth Estimation

SQS: Bayesian DNN Compression through Sparse Quantized Sub-distributions

논문 링크 SQS: 가지치기와 양자화를 하나의 베이지안 학습으로 — 스파이크-앤-슬랩과 GMM의 만남TL;DR — 프루닝(pruning)과 저비트 양자화(quantization)를 따로 하면 남는 잉여가 생긴다. SQS는 스파이크-앤-슬랩 사전분포와 …

2026년 9월 13일

Machine Learning Large Language Models Transformer Efficient Inference Model Compression Quantization

Kalman Delta Networks: Uncertainty-aware Associative Memory

논문 링크 칼만 필터로 다시 쓴 선형 어텐션: Kalman Delta Networks한 줄 요약 (TL;DR)선형 어텐션(linear attention)의 고정 크기 recurrent memory 갱신을 선형-가우시안 상태공간 모델 로 재해석하고, 최 …

2026년 9월 12일

KV Cache Long Context Efficient Inference SSM Attention Optimization Kalman Filter

X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation

논문 링크 X-AuT: 행동 프로브와 크로스스케일 증류로 음성 LLM의 오디오 인코더를 깎아내는 방법한 줄 요약 (TL;DR)음성 LLM의 오디오 인코더(오디오 Transformer)를 18→16→14 레이어로 점진적으로 프루닝 하면서, 짧은 행동 프 …

2026년 9월 12일

Efficient Inference Large Language Models Transformer Machine Learning Knowledge Distillation Model Compression