https://jaehun.me/categories/training-efficiency/Recent content in Training-Efficiency on Jaehun's BlogHugoko-krThu, 10 Sep 2026 09:30:02 +0900https://jaehun.me/posts/miles-v0.1-production-level-post-training/Thu, 10 Sep 2026 00:00:00 +0900https://jaehun.me/posts/miles-v0.1-production-level-post-training/<p><a href="https://arxiv.org/abs/2609.08368v1"target="_blank" class="inline-flex items-center gap-1" >논문 링크<svg class="h-3 w-3 flex-shrink-0" id="external-link" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><path fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2" d="M15 3h6v6m-11 5L21 3m-3 10v6a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2V8a2 2 0 0 1 2-2h6"/></svg> </a></p> <h2 id="miles-v01-프론티어-rl-사후학습을-위한-검증청결확장-가능한-풀스택-시스템">Miles v0.1: 프론티어 RL 사후학습을 위한 &ldquo;검증·청결·확장 가능&quot;한 풀스택 시스템<a href="#miles-v01-%ed%94%84%eb%a1%a0%ed%8b%b0%ec%96%b4-rl-%ec%82%ac%ed%9b%84%ed%95%99%ec%8a%b5%ec%9d%84-%ec%9c%84%ed%95%9c-%ea%b2%80%ec%a6%9d%ec%b2%ad%ea%b2%b0%ed%99%95%ec%9e%a5-%ea%b0%80%eb%8a%a5%ed%95%9c-%ed%92%80%ec%8a%a4%ed%83%9d-%ec%8b%9c%ec%8a%a4%ed%85%9c" class="heading-anchor" aria-label="이 섹션에 대한 링크"><svg class="h-4 w-4" aria-hidden="true" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"><g fill="none" stroke="currentColor" stroke-linecap="round" stroke-linejoin="round" stroke-width="2"><path d="M10 13a5 5 0 0 0 7.54.54l3-3a5 5 0 0 0-7.07-7.07l-1.72 1.71"/><path d="M14 11a5 5 0 0 0-7.54-.54l-3 3a5 5 0 0 0 7.07 7.07l1.71-1.71"/></g></svg></a></h2><p><strong>TL;DR</strong> : Miles는 rolluout 생성과 트레이닝이 서로 다른 엔진·커널·정밀도로 돌아가며 발생하는 <strong>train-rollout mismatch</strong>를 시스템 차원에서 해결하는 풀스택 RL 사후학습 프레임워크다. SGLang 기반 롤아웃, Megatron-LM/FSDP 트레이너, 세 가지 가중치 동기화 수송(broadcast/P2P/disk-delta)을 하나로 묶고, 토큰 정확성(TITO)과 전문가 라우팅 재현(R3)까지 보장한다. 종단 사례 연구로 <strong>GLM-5.2 744B-A40B</strong> 를 64개 GB300 GPU에서 완전 비동기 에이전틱 RL로 학습시켜 <strong>중앙값 스텝 263초</strong> 를 달성했다(근거: §9.2, Fig. 5).</p>