Chain-of-Thought

5페이지

ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search

ZGCM-1: 7B 밀집 모델이 235B 프런티어와 겨루는 법 — 완전 개방형·초고효율 파운데이션 모델 설계 보고서 TL;DR — ZGCM-1은 7.39B 밀집(dense) 모델 하나로 AIME 2026 75.0%, WebWalkerQA 63.1%, Binary Function Search 62.0%를…

2026년 9월 16일

15분

KV Cache Long Context

Language Models Can Control Their Own Attention

언어 모델이 스스로 어텐션을 통제한다: Declarative Attention TL;DR — 기존의 희소 어텐션(sparse attention)은 매 디코딩 스텝마다 어떤 토큰이 중요한지 외부에서 근사 하느라 여전히 $O(N)$ 비용을 지불했다. 이 논문은 방향을 틀어, 모델이…

2026년 9월 7일

14분

KV Cache Chain-of-Thought

[논문리뷰] Qwen3 Technical Report

Qwen 3: 생각량을 조절하는 거대 MoE 언어모델의 진화 한 줄 요약 (TL;DR) Qwen 3는 “얼마나 깊게 생각할지”를 토큰 수치로 직접 제어할 수 있는 Thinking Budget과 128-전문가 MoE 설계를 결합해, 활성 파라미터 22 B 만으로도 기존 100 B+ 밀집 모델을 넘어서는 성…

2025년 7월 26일

29분

Mixture of Experts Long Context

DeepSeek-Prover-V2: Advancing Formal Mathematical Reasoning via Reinforcement Learning for Subgoal Decomposition

Subgoal Curriculum + CoT Consistency: DeepSeek-Prover-V2가 자동 정리 증명의 판을 갈아엎다 TL;DR DeepSeek-Prover-V2는 “문제를 잘게 쪼개고, 쪼갠 대로 끝까지 맞춘다”는 원칙으로 소형 7 B 모델에서도 MiniF2F Pass\@32 82.4…

2025년 7월 8일

26분

math-llm Chain-of-Thought

Code I/O: Condensing Reasoning Patterns via Code Input-Output Prediction

CODE I/O: 코드 입·출력 + 자연어 CoT로 범용 추론까지 — 데이터 설계만으로 7B-30B LLM을 평균 +2 점 끌어올리다 TL;DR “코드 함수 → 입력·출력 예측 + 체계적 Chain-of-Thought(CoT)”라는 단일 데이터 파이프라인만으로, 3.5 M 샘플이 14 M 규모 SOTA…

2025년 7월 7일

34분

DeepSeek LLM