루프 언어 모델의 고정점: KV 공유·상태 재사용·증류로 비용 줄이기
반복 계산이 고정점에 가까워지는 성질로 KV 공유와 상태 재사용을 설명합니다. 최대 1.6B 모델에서 검증한 메모리·학습·프리필 비용 절감과 정확도 절충을 정리합니다.
반복 계산이 고정점에 가까워지는 성질로 KV 공유와 상태 재사용을 설명합니다. 최대 1.6B 모델에서 검증한 메모리·학습·프리필 비용 절감과 정확도 절충을 정리합니다.
TRACE: 롤아웃을 따라가는 FP4 양자화 인식 학습 — MoE LLM의 강화학습을 BF16 성능 그대로, 최대 5.4배 빠르게 한 줄 요약 (TL;DR) MoE LLM의 강화학습(RL)에서 롤아웃 생성을 FP4(W4A4 + FP4 KV) 로 양자화하면 생성 속도가 최대 5.4배 빨라지지만, 학습 경로…
온폴리시는 만능이 아니다: 증류 동역학에서 롤아웃 정책·KL 방향·학습률의 진짜 주인공 TL;DR — 강-약 증류(strong-to-weak distillation)에서 온폴리시(OnPD)와 오프폴리시(OffPD)를 분리해 보면, 최종 성능·망각·업데이트 희소성을 좌우하는 것은 롤아웃 정책이 아니라 KL…
StepAudio 3 Gen: 이산 자회귀(RVQ) 하나로 음성·노래·음악·효과음을 통합하다 한 줄 요약 (TL;DR) StepFun이 발표한 StepAudio 3 Gen 은 12.5 Hz 프레임률의 $16 \times 2048$ 잔차 벡터 양자화(RVQ) 토크나이저로 모든 오디오를 하나의 공유 이산 코…
Miles v0.1: 프론티어 RL 사후학습을 위한 "검증·청결·확장 가능"한 풀스택 시스템 TL;DR : Miles는 rolluout 생성과 트레이닝이 서로 다른 엔진·커널·정밀도로 돌아가며 발생하는 train-rollout mismatch를 시스템 차원에서 해결하는 풀스택 RL 사후학습 프레임워크다.…
대규모·장문맥 RL 사후학습에서 Speculative Decoding을 실용화하는 두 가지 설계 TL;DR : RL 사후학습의 벽-클록 시간을 지배하는 롤아웃 생성을 speculative decoding으로 가속하고, 여기에 온라인 드래프트 공동학습(co-training) 을 더해 정책이 진화해도 드래프…