4. cuBLAS 전치 트릭 — 왜 행렬을 뒤집어서 넘기는가
3편에서 Q/K/V 투영을 볼 때 이런 문장을 적어 두고 넘어갔다. “활성과 가중치는 행 우선인데 cuBLAS 는 열 우선을 가정하므로, CUBLAS_OP_T 전치 플래그와 lda/ldb/ldc 만으로 호출한다. 왜 이렇게 부르는지는 4편이 …
10분
게시글
기술과 일상에 대한 글 목록입니다.
546페이지
5 /
91
5. 토큰 하나를 만드는 decode 경로 — 왜 커널을 따로 만들었나
prefill 이 프롬프트 전체를 한 번에 흘려 보내면, 그다음부터는 지금까지 만든 토큰을 바탕으로 토큰을 하나씩 만들어야 한다. 이 단계가 decode 다. 1편에서 본 대로 prefill 과 decode 는 연산의 모양이 달라서 — 전자는 행렬 × …
12분
6. KV cache 를 16토큰 블록으로 쪼개기 — block table 로 비연속 블록을 읽는 법
decode 가 토큰을 하나 만들 때마다 어텐션은 그 시퀀스가 지금까지 쌓은 모든 K/V 를 다시 읽는다. 이 K/V 를 시퀀스마다 연속된 큰 버퍼 하나로 잡으면, 시퀀스들이 저마다 다른 시점에 끝나면서 안 쓰는 구간이 생겨 메모리가 낭비된다. …
14분
7. 슬롯과 큐로 여러 요청을 겹치기 — continuous batching 의 구현
GPU 는 한 번에 한 시퀀스만 처리하면 그 시퀀스가 prefill 을 마치고 decode 로 넘어가는 사이에서 쉬게 된다. continuous batching 은 처리 중이던 요청이 끝나는 대로 그 자리에 큐에서 기다리던 다음 요청을 넣어 GPU 를 …
11분
StepAudio 3 Gen Technical Report
논문 링크 StepAudio 3 Gen: 이산 자회귀(RVQ) 하나로 음성·노래·음악·효과음을 통합하다한 줄 요약 (TL;DR)StepFun이 발표한 StepAudio 3 Gen 은 12.5 Hz 프레임률의 $16 \times 2048$ 잔차 벡터 양 …
6분
Multimodal Learning
Large Language Models
Transformer
Audio Generation
Text-to-Speech
Reinforcement Learning
How Lossless Is Lossless Speculative Decoding? The Role of Numerical Precision in Orthrus
논문 링크 “무손실” 스페큘레이티브 디코딩은 정말 무손실일까? — Orthrus 재현으로 드러난 수치 정밀도의 함정TL;DR — Orthrus는 frozen AR 백본에 diffusion 뷰를 얹어 여러 토큰을 병렬로 생성하며 …
12분
Speculative Decoding
Numerical Precision
Quantization
LLM Inference
Efficient Inference
Benchmark Evaluation