게시글

기술과 일상에 대한 글 목록입니다.

607페이지
2 / 102

Tools Need Not Speak in Text: Latent Context Compression for Agents

길어지는 도구 관찰이 에이전트를 느리고 판단을 흐린다 도구 관찰이 길어질수록 컨텍스트 계산 비용은 늘고, 판단은 흔들린다. 이 논문은 도구 결과를 텍스트가 아니라 연속된 벡터로 압축해, 에이전트가 다음 행동을 결정하는 데 필요한 정보만 남기는 방법을 제안한다. 코드는 에 공개되어 있다. 먼저 읽어야 할…

16분
2611.065

LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers

도입 루프 트랜스포머는 같은 레이어 묶음을 여러 번 반복해서 쓰는 모델이다. 파라미터를 아끼는 대신 반복 단계마다 키·값 캐시를 따로 저장해야 해서, 서빙의 병목이 가중치에서 캐시로 옮겨 간다. 이 글은 그 캐시를 원소당 1비트 미만으로 압축하는 방법(LoopVQ)의 관찰과 설계, 실측 결과를 정리한다.…

20분
KV Cache Long Context