게시글

기술과 일상에 대한 글 목록입니다.

607페이지
4 / 102

Kronecker Delta Rule for Long Context Linear Attention

도입 문맥이 길어지면 softmax 어텐션은 계산량이 문맥 길이의 제곱으로 늘고, 키·값 캐시도 문맥 길이에 비례해 커진다. 이를 피하는 선형 어텐션은 문맥을 고정 크기 행렬 메모리에 압축해 보관하지만, 그 메모리를 고칠 때 이미 저장된 다른 기억까지 흔들리는 문제가 남아 있었다. 이 논문은 한 번의 수…

21분
KV Cache Long Context

TAO: Tool-Aware Joint Scheduling for LLM-Based Agentic Serving

TAO: LLM 기반 에이전트 서빙을 위한 도구 인지 통합 스케줄링 도입 에이전트는 모델 추론과 외부 도구 실행을 번갈아 수행한다. 도구가 도는 동안 그 세션의 GPU 수요는 중단 가능해지며, 이 빈 구간을 어떻게 쓰고 세션이 돌아왔을 때 어느 노드에 붙이느냐가 응답 시간을 좌우한다. 이 논문은 두 문제…

26분
KV Cache Prefix Caching

Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

문제: 매 단계마다 다시 읽는 이미지 이미지로 질문에 답하는 확산 언어 모델은 응답을 한 번에 완성하지 않는다. 여러 단계에 걸쳐 빈 자리를 메우는 동안, 매 단계마다 거의 변하지 않는 이미지를 처음부터 다시 읽는다. LOWN은 “지금 이 단계에 이미지가 정말 필요한가”를 매번 묻고, 필요할 때만 다시…

12분
2610.36671