FLAMIA: FLAsh MIcroscaling Attention for Fast and Causally Safe Training on Blackwell
들어가며 Blackwell GPU는 FP8·FP4 행렬곱을 BF16보다 각각 2배·4배 빠르게 처리한다. 그 속도를 어텐션에 쓰려면, 정밀도 손실보다 "양자화한 값이 앞·뒤 계산에서 똑같이 복원되는가"가 먼저 해결되어야 한다. FLAMIA는 이 조건을 낮은 비트 어텐션 커널 안에서 설계해,…
기술과 일상에 대한 글 목록입니다.
들어가며 Blackwell GPU는 FP8·FP4 행렬곱을 BF16보다 각각 2배·4배 빠르게 처리한다. 그 속도를 어텐션에 쓰려면, 정밀도 손실보다 "양자화한 값이 앞·뒤 계산에서 똑같이 복원되는가"가 먼저 해결되어야 한다. FLAMIA는 이 조건을 낮은 비트 어텐션 커널 안에서 설계해,…
SpecOPD: 추측 디코딩 드래프터를 분기 병렬로 학습시키기 도입 추측 디코딩은 작은 드래프터가 제안한 여러 토큰을 큰 타깃이 한 번에 검증해 생성 속도를 높이는 기법이다. 그런데 속도의 상한은 드래프터가 몇 토큰을 연속으로 맞히느냐로 정해지고, 이를 해결하려는 온폴리시 증류는 학습 신호를 모으는 과정…
새 공식 지표와 주요 뉴스를 짧게 짚고, 과거 실거래는 배경으로 구분합니다.
새 공식 지표와 주요 뉴스를 짧게 짚고, 과거 실거래는 배경으로 구분합니다.
도입 추측 디코딩은 큰 모델이 한 번 호출될 때 여러 토큰을 함께 확정해, 메모리 대역폭이 병목인 언어 모델 디코딩을 가속하는 기법이다. 이 논문은 이 기법의 공개 구현이 허용된 속도 향상의 상당 부분을 얻지 못했다고 지적하고, 코딩 에이전트가 배포 환경마다 병목을 다시 재서 최적화를 스스로 찾게 한다.…
새 공식 지표와 주요 뉴스를 짧게 짚고, 과거 실거래는 배경으로 구분합니다.