게시글

기술과 일상에 대한 글 목록입니다.

607페이지
3 / 102

SpecOPD: Branch-Parallel On-Policy Distillation for Speculative Decoding

SpecOPD: 추측 디코딩 드래프터를 분기 병렬로 학습시키기 도입 추측 디코딩은 작은 드래프터가 제안한 여러 토큰을 큰 타깃이 한 번에 검증해 생성 속도를 높이는 기법이다. 그런데 속도의 상한은 드래프터가 몇 토큰을 연속으로 맞히느냐로 정해지고, 이를 해결하려는 온폴리시 증류는 학습 신호를 모으는 과정…

21분
Speculative Decoding Efficient Training

SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding

도입 추측 디코딩은 큰 모델이 한 번 호출될 때 여러 토큰을 함께 확정해, 메모리 대역폭이 병목인 언어 모델 디코딩을 가속하는 기법이다. 이 논문은 이 기법의 공개 구현이 허용된 속도 향상의 상당 부분을 얻지 못했다고 지적하고, 코딩 에이전트가 배포 환경마다 병목을 다시 재서 최적화를 스스로 찾게 한다.…

28분
Speculative Decoding Efficient Inference