Computer Vision on Jaehun's Blog

[논문리뷰]: Radial Attention: O(n log n) Sparse Attention with Energy Decay for Long Video Generation

Mon, 15 Dec 2025 00:00:00 +0900

논문 링크

Radial Attention: O(n log n) Sparse Attention with Energy Decay로 “긴 비디오”를 싸게 뽑기

한 줄 요약 (TL;DR)

사후(softmax 이후) attention 에너지가 거리(시간/공간)와 함께 지수적으로 감쇠 한다는 관찰을 바탕으로, 계산 밀도도 같은 방식으로 감쇠시키는 정적(static) 마스크를 설계해 긴 비디오 생성의 훈련/추론 비용을 크게 줄인다. (근거: §4.1–§4.2, Eq.3–Eq.4)

MMInference: Accelerating Pre-filling for Long-Context Visual Language Models via Modality-Aware Permutation Sparse Attention

Thu, 19 Jun 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

MMInference 논문 리뷰: VLM의 긴 컨텍스트 추론, ‘순열’로 속도의 벽을 넘다

최근 Vision Language Model(VLM)은 이미지와 텍스트를 넘어 긴 비디오까지 이해하는 능력으로 무한한 가능성을 보여주고 있습니다. [cite_start]하지만 수백만 개의 토큰으로 이루어진 긴 비디오를 입력받을 때, 모델이 본격적인 답변 생성을 시작하기 전 입력 전체를 처리하는 ‘Pre-filling’ 단계에서 엄청난 지연이 발생합니다. [cite: 2] [cite_start]이는 어텐션 메커니즘의 연산량이 입력 길이의 제곱에 비례하여 증가하기 때문인데, 현실적인 서비스 적용에 큰 걸림돌이 되어 왔습니다. [cite: 2, 19]

Seedream 2.0: A Native Chinese-English Bilingual Image Generation Foundation Model

Wed, 16 Apr 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

✅ 결론 요약 (핵심 강점 및 독창성)

Seedream 2.0은 중국어와 영어 모두를 native하게 이해하고 시각화하는 최초 수준의 이중언어 텍스트-이미지 생성 모델이다. 주요 강점은 다음과 같다:

Toward Efficient Inference for Mixture of Experts

Wed, 16 Apr 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

✅ 결론 요약 (핵심 기여)

이 논문 **“Toward Efficient Inference for Mixture of Experts”**는 Mixture-of-Experts (MoE) 기반 Transformer 모델의 추론 효율성을 극적으로 향상시키는 3가지 핵심 기법을 제안합니다:

On Distributed Larger-Than-Memory Subset Selection With Pairwise Submodular Functions

Mon, 24 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

✅ 결론 요약

이 논문은 “메모리 용량을 초과하는 대규모 데이터셋에서 대표적인 subset을 효율적으로 선택"하는 문제를 다룬다. 기존 방법들은 중앙 서버가 전체 subset을 메모리에 올릴 수 있어야 한다는 제약이 있었지만, 이 논문은 중앙 서버 없이도 분산 환경에서 고품질 subset을 선택할 수 있는 새로운 알고리즘 2가지를 제안한다:

VOLUT: EFFICIENT VOLUMETRIC STREAMING ENHANCED BY LUT-BASED SUPER-RESOLUTION

Thu, 06 Mar 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 『VoLUT: Efficient Volumetric Streaming Enhanced by LUT-based Super-resolution』을 분석하여 핵심 사항을 아래와 같이 압축하여 전달하고, 강점과 독창성, 알고리즘의 동작 과정, 한계점을 차례로 제시합니다.

Dynamic Diffusion Transformer

Tue, 25 Feb 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 핵심 요약

이 논문은 **Dynamic Diffusion Transformer (DyDiT)**라는 새로운 모델을 제안하며, 기존 **Diffusion Transformer (DiT)**의 과도한 연산량 문제를 해결하는 것을 목표로 한다. DyDiT는 시간축(Timestep)과 공간축(Spatial)에서 동적으로 연산을 조정하는 방식을 도입하여 효율성을 크게 향상시켰다.

DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding

Wed, 12 Feb 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 개요 및 강점

논문 제목: DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding

Qwen2-VL: Enhancing Vision-Language Model’s Perception of the World at AnyResolution

Tue, 11 Feb 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점과 독창적인 지점

Qwen-VL: AVersatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond

Tue, 04 Feb 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 핵심 요약 및 평가

1. 논문의 강점과 독창적인 지점

이 논문은 Qwen-VL 시리즈라는 대규모 Vision-Language Model (LVLM) 을 소개하며, 기존 모델 대비 다양한 시각적 이해 및 언어적 응용 능력을 향상시킨 것이 핵심이다.
다음과 같은 주요 강점과 차별점이 있다:

Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation

Mon, 03 Feb 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 요약 및 분석: Janus - Decoupling Visual Encoding for Unified Multimodal Understanding and Generation

1. 연구의 주요 기여

Janus는 멀티모달 이해(Understanding)와 생성(Generation)을 통합한 자율회귀(Autoregressive) 모델로, 기존 접근 방식의 한계를 해결하기 위해 시각적 인코딩(Visual Encoding)을 분리하는 전략을 제안한다.

SANA: EFFICIENT HIGH-RESOLUTION IMAGE SYN THESIS WITH LINEAR DIFFUSION TRANSFORMERS

Wed, 15 Jan 2025 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점, 독창적 지점, 그리고 핵심 내용

강점:

The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction

Thu, 26 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점 및 독창적인 지점

핵심 요약: 이 논문은 Transformer 기반 대형 언어 모델(LLM)의 특정 층에서 랭크 감소(LASER) 기법을 통해 성능을 개선할 수 있음을 발견했습니다. 특히, 훈련이 끝난 모델에 적용 가능한 후처리 방법으로, 특정 층의 고차 요소(작은 특이값에 해당하는 성분)를 제거하여 성능을 향상시키는 점이 독창적입니다.

The Llama 3 Herd of Models

Tue, 24 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점, 독창성, 핵심 알고리즘, 그리고 한계점 요약

결론 요약

이 논문은 Meta의 최신 언어 모델 Llama 3의 개발, 구조, 학습, 성능 평가, 그리고 안전성을 다룹니다. 405B 매개변수를 가지며 128K 토큰의 긴 문맥 처리, 멀티모달 확장, 다국어 지원, 툴 사용을 기본적으로 지원하는 것이 특징입니다. 이 모델은 GPT-4에 필적하거나 특정 분야에서 더 우수한 성능을 보여줍니다. 주요 독창성은 확장된 학습 스케일과 고품질 데이터 사용, 긴 문맥 처리 최적화, 그리고 안전성 보장에 있습니다. 하지만, 모델의 높은 자원 요구, 일부 언어의 성능 한계, 그리고 안전성 조치의 복잡성이 한계로 지적됩니다.

SageAttention2 Technical Report: Accurate 4 Bit Attention for Plug-and-play Inference Acceleration

Fri, 20 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점 및 독창성 1. 효율성 증가: • SageAttention2는 4비트 정밀도(INT4)와 FP8(8비트 부동소수점)을 활용하여 기존 FlashAttention2 대비 약 3.1배 빠른 연산 속도를 제공함. • RTX4090에서 최대 485 TOPS 성능을 달성하며, FlashAttention2와 xformers 대비 각각 3.1배, 5.4배 속도 향상을 입증. 2. 정확도 유지: • INT4 및 FP8로 매트릭스를 양자화하면서도 End-to-End 정확도 손실이 미미함. • 텍스트, 이미지, 비디오 생성 모델에서 정확도 손실 없이 기존 모델의 성능을 유지. 3. 적응형 양자화 기법: • 특정 레이어와 타임스텝에서 높은 정확도를 유지하기 위해 INT8 양자화를 혼합하는 방법을 제안. • 이를 통해 다양한 입력과 모델 구조에서도 높은 범용성을 보장. 4. 전처리 개선: • Smooth Q와 Smooth V 방법론을 통해 양자화 오류를 줄여 INT4의 제한된 수치 범위 내에서도 정확도를 향상.

Token Merging: Your ViT But Faster

Fri, 13 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 주요 내용과 분석을 다음과 같이 요약하겠습니다:

DeepCache: Accelerating Diffusion Models for Free

Mon, 09 Dec 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점과 독창성

강점:

LOOK-M:Look-Once Optimization in KV Cache for Efficient Multimodal Long-Context Inference

Wed, 27 Nov 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문의 강점 및 독창성

문제 정의의 명확성:

SPARSEVLM: VISUAL TOKEN SPARSIFICATION FOR EFFICIENT VISION-LANGUAGE MODEL INFERENCE

Wed, 20 Nov 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

강점 및 독창적인 지점

논문의 강점:

VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration

Mon, 18 Nov 2024 00:00:00 +0900

논문 링크

Q : 이 논문을 아주 자세하게 읽고 논문의 강점과 독창적인 지점을 설명해주고 핵심 알고리즘을 예시 입력을 들어서 전체적인 과정을 설명해줘 추가적으로 논문의 한계점에 대해서도 알려줘

논문 요약 및 분석

논문 제목: VL-CACHE: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration

Deep Compression Autoencoder for Efficient High-Resolution Diffusion Models

Thu, 14 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2410.10733v2

아래 글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

논문 분석 및 요약: “Deep Compression Autoencoder for Efficient High-Resolution Diffusion Models”

1. 논문의 개요 및 주요 내용

이 논문은 고해상도 이미지 생성을 위한 효율적인 오토인코더인 **Deep Compression Autoencoder (DC-AE)**를 제안합니다. 기존의 잠재 확산 모델(latent diffusion models)은 오토인코더를 활용하여 고해상도 이미지를 잠재 공간으로 압축하여 계산 비용을 줄이지만, 공간 압축 비율이 높아질수록(예: 64배, 128배) 재구성 정확도가 크게 떨어지는 문제가 있었습니다. DC-AE는 이러한 문제를 해결하기 위해 Residual Autoencoding과 Decoupled High-Resolution Adaptation이라는 두 가지 핵심 기술을 도입했습니다.

HART Efficient Visual Generation with Hybrid Autoregressive Transformer

Thu, 14 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2410.10812

아래 글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

논문의 강점 및 독창적인 지점

이 논문은 Hybrid Autoregressive Transformer (HART)라는 새로운 이미지 생성 모델을 제안하며, 이 모델은 특히 높은 효율성을 자랑합니다. HART는 1024x1024 해상도의 이미지를 직접 생성할 수 있으며, 기존의 확산 모델과 비교하여 다음과 같은 독창적인 강점이 있습니다:

Learning Transferable Visual Models From Natural Language Supervision

Thu, 14 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2103.00020

아래 글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

이 논문은 “Learning Transferable Visual Models From Natural Language Supervision"이라는 제목을 가진 CLIP (Contrastive Language-Image Pre-training) 모델에 대한 연구입니다.

Condition-Aware Neural Network for Controlled Image Generation

Wed, 13 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2404.01143

아래글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

논문의 요약 및 분석

1. 논문의 개요

논문 **“Condition-Aware Neural Network (CAN)”**은 이미지 생성 모델에 제어 기능을 추가하기 위해 새로운 접근 방식을 제안합니다. 이 모델은 기존의 조건 제어 방법과는 달리, 조건에 따라 동적으로 네트워크의 가중치를 조정하여 이미지 생성 과정을 제어합니다. 이 방식은 기존의 GAN, Transformer 기반의 이미지 생성 모델에서 주로 사용되던 특징 공간 조작 대신 가중치 공간을 조작하는 것을 목표로 합니다.

DistriFusion Distributed Parallel Inference for High-Resolution Diffusion Models

Wed, 13 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2402.19481

아래글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

논문의 개요 및 독창성

논문 “DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models"은 고해상도 이미지 생성에서 발생하는 연산 병목을 해결하기 위해 다중 GPU를 활용하여 Diffusion 모델의 추론 속도를 대폭 개선하는 알고리즘을 제안합니다. 기존의 Diffusion 모델은 대규모의 연산량으로 인해 고해상도 이미지 생성 시 실시간 응용에 적합하지 않았습니다. DistriFusion은 고해상도 이미지를 여러 패치(patch)로 나누어 각 GPU에서 병렬로 처리하면서도, 패치 간 상호작용 문제를 해결하기 위해 비동기 통신과 이전 단계의 특징 맵을 재활용하는 접근 방식을 도입합니다.

FastComposer Tuning-Free Multi-Subject Image Generation with Localized Attention

Wed, 13 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2305.10431

아래글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

논문 요약 및 주요 내용 분석

논문 제목: “FastComposer: Tuning-Free Multi-Subject Image Generation with Localized Attention”
저자: Guangxuan Xiao, Tianwei Yin, William T. Freeman, Frédo Durand, Song Han (MIT)

VILA On Pre-training for Visual Language Models

Wed, 13 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2312.07533

아래글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

논문 분석: VILA: On Pre-training for Visual Language Models

1. 논문의 배경 및 목표

이 논문은 **Visual Language Model (VLM)**을 개선하기 위한 사전 학습(pre-training) 기법을 연구합니다. 최근 **대규모 언어 모델(LLM)**의 성공을 기반으로, 시각적 입력을 처리할 수 있는 멀티모달 모델이 주목받고 있습니다. 그러나 기존 연구는 주로 **시각적 언어 지시 조정(visual instruction tuning)**에 집중되어 있었으며, 사전 학습 단계에 대한 심층적인 연구는 부족했습니다.

VILA-U a Unified Foundation Model Integrating Visual Understanding and Generation

Wed, 13 Nov 2024 00:00:00 +0900

논문 : https://arxiv.org/abs/2409.04429

아래글은 Scholar GPT와 대화를 나눈 내용입니다.

Q : 논문의 핵심 내용과 강점, 알고리즘 설명, 그리고 한계점

논문 요약 및 강점 분석

논문 제목: VILA-U: A Unified Foundation Model Integrating Visual Understanding and Generation